介绍:
查近义词,计算句子相似度的接口函数,
https://github.com/huyingxi/Synonyms
oov: out of vocabulary , 集外词,未登录词
基于jieba分词
主要方法:
- nearby(‘w’), 获取'w'近义词、相似度(距离远近)
- compare('s1', 's2', seg=True|False) , 比较两个句子的相似度,seg决定是否分词。
- SenetenceSim上进行测试,阈值0.5 ,语料7516条情况下,准确率 88.15%
- display('w'): 以友好的方式打印近义词,方便调试,调用了nearby方法
距离计算时用欧氏距离或曼哈顿距离等。
实用性:
分词用的jieba模块
相似度计算用的word2vec模型
自定义停止词文件
相似距离计算最后加入了0.8 的莱文斯坦距离比重,又称Levenshtein距离
启发性思想:
词库的局限性,已经训练成的word2vec的效果局限性