![](https://i-blog.csdnimg.cn/blog_migrate/9bb7bd876a712d2098cf76a124434e2d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b451f9c01dbd2bd3be5e7dd6010ffbc.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7fd96f87298659b4cc5a709232fb6fb1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cec94fff4db9f671da9efe49fbc3fd27.png)
将bert的预训练加入纠错训练,问题是[MASK]替换再预测,会带来的负面影响,而且这样做真的比两阶段训练好嘛?
如果两阶段训练,第二阶段也做一些混淆集的替换又会怎样呢? 这样的copy占比也很少啊?论文实验表明增加20%的copy to mask 结果最好(这个比例应该和测试集有关吧)
将bert的预训练加入纠错训练,问题是[MASK]替换再预测,会带来的负面影响,而且这样做真的比两阶段训练好嘛?
如果两阶段训练,第二阶段也做一些混淆集的替换又会怎样呢? 这样的copy占比也很少啊?论文实验表明增加20%的copy to mask 结果最好(这个比例应该和测试集有关吧)