【词的分布式表示】点互信息PMI和基于SVD的潜在语义分析

学习心得

（1）为了解决高频词误导计算机结果的问题（如“我”、“。”与其他词的共现频次很高，以至于有些木有关系的词语之间也会产生联系，即相似度）——用PMI
（2）为了解决共现频次无法反应词之间高阶关系的问题（如a和b共现，b和c共现，c和d共现，通过共现频次，可能只能获得a和c共现，而不能得到a和d共现）——用大名鼎鼎的SVD。

我们熟悉的词的独热表示（One-hot Encoding，独热编码）即对第i个词向量——在第i个维度上设置为1，其余维均为0，这里有两个问题：
（1）即使两个词在语义上相似，但是通过余弦函数度量两者之间的相似度时可能值为0；
（2）容易导致数据稀疏问题，ex：如果在训练集中见过“机智”，而在测试集中出现了“聪明”，虽然两个词语语义相似，但是系统无法对“聪明”进行加权——即当训练数据有限时，不能充分地学习语言现象。

为了解决上面的数据稀疏问题，传统的方法是引入特征（提取更多和词相关的泛化特征，如词性特征、词义特征和词聚类特征等），但是这类做法耗时耗力