what is emdding
embedding就是把字词用向量表示出来,相当于是对字词做encoding
motivation
比如 猫,狗,我们当然可以直接把他们表示为一些独立的离散符号,但是这样的表示毫无意义,而且会产生大量稀疏数据。使我们在训练统计模型时不得不寻求更多的数据。而词汇的向量表示将克服上述的难题。
background
VSM(vector space model)
核心思想就是把一些词用向量空间的表示方法。最基本的应用,就是tf-idf。
我们把一篇文档用一组向量表示,然后计算文档之间的余弦值来衡量文档相似度。vsm在nlp有着非常丰富的应用历史,不过这一模型又是基于分布式假设的。
分布式假设
其核心思想是:认为出现在上下文情景中的词汇都有着相似的语义。
基于这一假设的方法,大致可以分为两类:
– 计数方法。潜在语义分析(latent sematics analysis)
– 预测方法。神经概率化模型
用神经网络训练语言模型,比较经典就是Bengio于2003年发表在JMLR上的《A Neural Probabilistic Language Model》
最简单的词向量,当属于one-hot的表示,这种表示并不是很理想,而distributed represention则比one-hot的好很多,一个猜测是:one-hot的表示相当于是空间中一个孤立的点,而distributed represe