BERT预训练技巧

使用BERT预训练模型进行自然语言的情感分类之BERT预训练技巧

1. 因为我们是按单个字为单位训练BERT，所以在Masked LM里面，将英文单词所在的区域一起遮盖掉，让模型预测这个部分。
2. 很多句子里含有数字，显然在Masked LM中，让模型准确地预测数据是不现实的，所以我们把原文中的数字（包括整数和小数）都替换成一个特殊token，#NUM#，这样模型只要预测出这个地方应该是某些数学就可以了。