bert中文填空训练结果

题目

中文填空

参考

中文完形填空github

训练结果

#测试

checkpoint = torch.load(output_model,map_location='cpu')
# print(checkpoint)
model.load_state_dict(checkpoint['model_state_dict'],strict=False)
model.to(device)
def test():
    model.eval()
    correct = 0
    total = 0
    loader_test = torch.utils.data.DataLoader(dataset=Dataset('test'),
                                              batch_size=32,
                                              collate_fn=collate_fn,
                                              shuffle=True,
                                              drop_last=True)
    for i, batch in enumerate(loader_test):
        batch = tuple(t.to(device)for t in batch)
        if i == 15:
            break

        print(i)

        with torch.no_grad():
            out = model(input_ids=batch[0],attention_mask=batch[1],token_type_ids=batch[2])
        labels = batch[3]
        out = out.argmax(dim=1)
        correct += (out == labels).sum().item()
        total += len(labels)

        print(token.decode(batch[0][0]))
        print('预测值: ',token.decode(out.flatten()[0]))
        print('实际值: ',token.decode(labels[0]))

    print(correct / total)


test()

0
[CLS] 环 境 很 不 好, 在 老 火 车 站 旁 边, [MASK] 旧 很 吵 闹, 像 大 多 数 网 友 说 的 [SEP]
预测值:  还
实际值:  很
1
[CLS] 10 月 2 号 入 住 12 楼 大 床 房, 房 间 [MASK] 小, 隔 音 差, 3 号 换 11 楼 双 人 [SEP]
预测值:  偏
实际值:  太
2
[CLS] 看 了 这 本 书 ， 很 有 感 触 ， 再 次 从 [MASK] 中 看 到 一 个 个 或 让 人 快 乐 、 或 [SEP]
预测值:  书
实际值:  书
3
[CLS] 卖 得 很 热 的 一 本 书 ， 讲 得 也 有 些 [MASK] 理 。 只 是 不 喜 欢 作 者 一 副 自 以 [SEP]
预测值:  道
实际值:  道
4
[CLS] 一 进 房 间 就 有 一 股 霉 味 ， 后 来 发 [MASK] 马 桶 水 箱 出 不 了 水 ， 两 次 让 服 [SEP]
预测值:  现
实际值:  现
5
[CLS] 由 于 在 南 京 住 的 银 河 索 菲 特 感 觉 [MASK] 错 ， 所 以 这 次 来 成 都 退 了 喜 来 [SEP]
预测值:  不
实际值:  不
6
[CLS] 环 境 还 不 错 ， 服 务 也 还 可 以 。 环 [MASK] 比 隔 壁 香 格 里 拉 也 差 不 多 ， 但 [SEP]
预测值:  境
实际值:  境
7
[CLS] 怎 么 当 当 的 东 西 都 是 在 我 买 了 后 [MASK] 降 价 呢? 刚 买 了 [UNK] 盘 到 货 了, [SEP]
预测值:  就
实际值:  就
8
[CLS] 外 观 很 美 观 大 方 ， 配 置 均 衡 合 理 [MASK] 做 工 不 错 ， 屏 幕 效 果 很 棒 ， 镜 [SEP]
预测值:  ，
实际值:  ，
9
[CLS] 14 寸 宽 屏 确 实 感 觉 小 了 点 ， 可 视 [MASK] 积 太 小 。 漆 面 有 1 、 2 个 突 起 [SEP]
预测值:  面
实际值:  面
10
[CLS] 逐 行 逐 字 看 完 了 步 步 为 营 ， 八 个 [MASK] 事 里 蕴 涵 的 职 场 哲 学 让 人 若 有 [SEP]
预测值:  故
实际值:  故
11
[CLS] 样 子 不 太 商 务, 塑 料 感 较 强, 屏 [MASK] 较 小, 没 有 送 鼠 标, 我 自 有 2000 [SEP]
预测值:  幕
实际值:  幕
12
[CLS] 整 个 酒 店 的 环 境 、 设 施 等 都 很 不 [MASK] ， 但 让 服 务 员 拿 份 地 图 ， 却 一 [SEP]
预测值:  错
实际值:  错
13
[CLS] 性 价 比 不 错 声 效 不 错 摄 像 头 效 果 [MASK] 错 和 中 关 村 价 格 没 差 多 少 ， 早 [SEP]
预测值:  不
实际值:  不
14
[CLS] 该 酒 点 实 在 太 差, 携 程 非 常 不 负 [MASK], 我 花 308 住 豪 华 房, 性 价 比 也 [SEP]
预测值:  心
实际值:  责
0.6875

不知道为什么bert【BertModel.from_pretrained(‘bert-base-uncased’)】训练英文效果不是很好，希望有知道的大神指点一下~