学习资料:video, PPT
1. 背景
BERT的本质就是transformer encoder
为什么会出现BERT呢?这就需要从NLP最初的问题说起,我们需要对语句中的word做编码。最初的编码方式是1-of-N encoding(one-hot),但是,这样的编码方式有两个严重的问题:(1)编码过于稀疏;(2)无法区分类别。为了解决类别区分的问题,所以,需要对word做分类,名词、动词、动物、植物等等。再后来,就有了经典的word embedding。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/121476211119b2f1f3c1acbd3e0f6a29.png#pic_center)
然而,word embedding也有其局限性。不同语境下,相同的词,表达的意思会有差异。如下面两个例子。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/5f31bf9a7b93349da92eadcdfc0aaf98.png#pic_center)