Bert

自我监督式学习:

1. 它可以做两件事情:
   预测被遮盖的词汇masked token prediction
   预测下一个句子next sentence prediction（效果不好）
   它可以像人体的干细胞一样 分化成各种类型 做不同的任务 对项目进行微调fine tune。
2. 它的结构是transfomer里面的encoder部分
3. bert使用
   情感分析:bert橙色块内的参数不是进行随机初始化，而是根据已经训练好的可以进行句子填空的模型参数进行初始化，得到比随机初始化更优的结果。
   
   输入序列和输出序列一一对应:
   
   输入两个句子，输出一个分类，表示两句子的关系。如一个前提句子，一个假设句子，判断前提和假设的关系，相斥、统一、中立等。或者判断一个评论对一篇文章的情感。
   
   QA 读一篇文章 根据问题给出回答，返回一个区间，表示在原文中的位置。