python synonyms 近义词

from scipy import spatial
import synonyms
S1 = '尽管步履维艰,我们依然不会放弃'
S2 = '就算困难重重,咱们仍旧不能退出'

# 使用 synonyms 计算文本相似度,基于近义词
vec1 = synonyms.v('番茄')
vec2 = synonyms.v('西红柿')
vec3 = synonyms.v('花生')
print(f'番茄的词向量长度为:{len(vec1)}  {list(vec1)}')  # 把中文喂进训练好的模型,让中文变成一个向量
cos_sim = 1 - spatial.distance.cosine(vec1, vec2)  # 余弦计算公式
cos_sim2 = 1 - spatial.distance.cosine(vec1, vec3)  # 余弦计算公式
print(f'番茄与西红柿的余弦距离 {cos_sim}')
print(f'番茄与花生的余弦距离 {cos_sim2}')
print(synonyms.nearby('番茄', size=10))  # 计算词库里每个词与番茄之间的相似度(余弦计算公式), 找出最近的10个词, 并得出相似度
print(f"茄与西红柿的相似度 {synonyms.compare('西红柿', '番茄', seg=False)}")  # 比较相似度,使用了其他距离公式计算(并非余弦计算公司),因此值是1 seg代表是否是句子
print(f"茄与西红柿的相似度 {synonyms.compare('西红柿', '花生', seg=False)}")  # 比较相似度 seg代表是否是句子
print(f"句子的相似度  {synonyms.compare(S1, S2, seg=True)}")

# keywords = synonyms.keywords("9月15日以来,台积电、高通、三星等华为的重要合作伙伴,只要没有美国的相关许可证,都无法供应芯片给华为,而中芯国际等国产芯片企业,也因采用美国技术,而无法供货给华为。目前华为部分型号的手机产品出现货少的现象,若该形势持续下去,华为手机业务将遭受重创。")
# print(keywords)

主要的思路是将中文放进一个训练好的模型中变成一个100*1的向量,然后计算余弦距离公式获取词的相似度。

哪个库没有直接pip install 即可。第一次运行需要稍作等待下载文件。如运行失败则加以下代码

# OError: [Errno socket error] [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:727)。

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值