（连载）词向量的理解——BERT模型的句子向量表示

文章均从个人微信公众号“ AI牛逼顿”转载，文末扫码，欢迎关注！

---

word embedding的出现提升了自然语言处理的效果。典型的使用场景就是把高质量的词向量输入到的模型中，通过后续的一系列计算，去完成相应的任务。比如文本分类，文本匹配等等。

说到高质量的词向量，这里要给出一个名词：预训练。土豪公司利用大量数据、构造复杂深层的网络结构能够训练出高质量的词向量，然后把结果开放，可以直接拿来用。这比自己用小量数据去获取词向量的效果要好得多。

这就是预训练的意思。买来就可以吃，也可以根据自己的喜好，再稍微加工一下。（不要流口水哈）​​​​​

 

然而，质量再高，多义词的向量表示依然是笼罩在word embedding头上的一朵乌云。

不解决多义词的向量表示，智能？智障吧

 

从上篇文章可以看到，同一个单词只占参数矩阵的同一行。这就导致了两种不同的上下文信息都会编码成同一个向量，而这个向量包含了这个词不同的意义。当我们使用这个词的向量表示时，就算明确了词的具体含义，但是取出来的向量只能混合所有词义，那肯定会影响后续任务的效果了。

其次，后续任务一般是对句子甚至是整篇文章的分析。简单的做法就是把每个词的向量加起来，