from scipy import spatial
import synonyms
S1 = '尽管步履维艰,我们依然不会放弃'
S2 = '就算困难重重,咱们仍旧不能退出'
# 使用 synonyms 计算文本相似度,基于近义词
vec1 = synonyms.v('番茄')
vec2 = synonyms.v('西红柿')
vec3 = synonyms.v('花生')
print(f'番茄的词向量长度为:{len(vec1)} {list(vec1)}') # 把中文喂进训练好的模型,让中文变成一个向量
cos_sim = 1 - spatial.distance.cosine(vec1, vec2) # 余弦计算公式
cos_sim2 = 1 - spatial.distance.cosine(vec1, vec3) # 余弦计算公式
print(f'番茄与西红柿的余弦距离 {cos_sim}')
print(f'番茄与花生的余弦距离 {cos_sim2}')
print(synonyms.nearby('番茄', size=10)) # 计算词库里每个词与番茄之间的相似度(余弦计算公式), 找出最近的10个词, 并得出相似度
print(f"茄与西红柿的相似度 {synonyms.compare('西红柿', '番茄', seg=False)}") # 比较相似度,使用了其他距离公式计算(并非余弦计算公司),因此值是1 seg代表是否是句子
print(f"茄与西红柿的相似度 {synonyms.compare('西红柿', '花生', seg=False)}") # 比较相似度 seg代表是否是句子
print(f"句子的相似度 {synonyms.compare(S1, S2, seg=True)}")
# keywords = synonyms.keywords("9月15日以来,台积电、高通、三星等华为的重要合作伙伴,只要没有美国的相关许可证,都无法供应芯片给华为,而中芯国际等国产芯片企业,也因采用美国技术,而无法供货给华为。目前华为部分型号的手机产品出现货少的现象,若该形势持续下去,华为手机业务将遭受重创。")
# print(keywords)
主要的思路是将中文放进一个训练好的模型中变成一个100*1的向量,然后计算余弦距离公式获取词的相似度。
哪个库没有直接pip install 即可。第一次运行需要稍作等待下载文件。如运行失败则加以下代码
# OError: [Errno socket error] [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:727)。
import ssl
ssl._create_default_https_context = ssl._create_unverified_context