论文读书笔记-主题-查找同义词

[2013]Tri Dao, Sam Keller, Alborz Bejnood.Alternate Equivalent Substitutes-recognition of synonyms using word vectors 

寻找同义词类文章

主旨：利用词向量来寻找同义词，同时，提出了一种查找同义词的聚类方法。流程：1、用word2vec训练得出word vectors；2、用k-means方法聚类查找同义词。

经过测试不同的词向量维度、聚类数量，实验结果是一个对比率：一个目标词的所有同义词被聚类到与目标词相同类别的比例，除以任何随机选择的一些词处于与目标词相同类别的比例。

在计算传统的word2vec自带的semantic和syntactic test datasets时，vector length越大越好，这一点从图3的两种训练模型下的准确率可以看出。但是，经过k-means聚类后（Table1和Table2的结果）却发现了相反的现象：越小的vector length越能改善同义词检测成功的可能性。作者又提出，vector length不能太小，10以下的长度会降低同义词检测成功的可能性。因此最好的length区间是10~20。接着作者用PCA算法进行了高维向量降维至2维度。发现，用skip-gram 模型在200维数产生的vector使得同义词并不必然聚类在一起。而用skip-gram 模型在20维数产生的vector使得同义词紧密地聚类在一起。

• 数据处理。主要使用了4个方面的数据：文本语料（训练word2vec）；词列表（5000个非停词，限定查找同义词的范围）；对应同义词列表（利用WordNet，提供实验中的标准对比数据）；文本表示框架。
• 模型选择。CBOW和skip-gram。
• 同义词识别算法。
• 作者未来工作：1、增加vector的size以便增加句法syntactic准确率。2、加入其它类别的参数，比如相对权重加入到vetor的每一个维度（特征），然后优化这些权重值以便最小化目标词与其同义词之间的距离。