李宏毅课程-人类语言处理-BERT和它的家族-介绍和微调（上）

课件地址：
http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html
视频地址：
https://aistudio.baidu.com/aistudio/education/lessonvideo/1000578
模型压缩汇总：
http://mitchgordon.me/machine/learning/2019/11/18/all-the-ways-to-compress-BERT.html
预训练就是融会贯通

芝麻街人物

一个字一个唯一的向量，数量太多，也不准确

FastText一个字符一个字符的输入，汇总得到向量，能识别没看到过的

中文可以类似图片识别，边旁部首

不同的内容不同的意义

也是一个字符一个向量，但是是看过上下文后得到的

自注意力机制

相同语义的相似度像，颜色相似

大模型

albert效果还更好了

模型变小的技术