Python简单实现基于VSM的余弦相似度计算

最新推荐文章于 2024-05-10 05:15:00 发布
最新推荐文章于 2024-05-10 05:15:00 发布
阅读量3.2w 收藏 50
点赞数 5
分类专栏： 知识图谱、web数据挖掘及NLP 文章标签： 向量空间模型 VSM 余弦相似度计算 NLP 知识图谱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eastmount/article/details/49898133
版权
        在知识图谱构建阶段的实体对齐和属性值决策、判断一篇文章是否是你喜欢的文章、比较两篇文章的相似性等实例中，都涉及到了向量空间模型（Vector Space Model，简称VSM）和余弦相似度计算相关知识。
         这篇文章主要是先叙述VSM和余弦相似度相关理论知识，然后引用阮一峰大神的例子进行解释，最后通过Python简单实现百度百科和互动百科Infobox的余弦相似度计算。

一. 基础知识

        第一部分参考我的文章: 基于VSM的命名实体识别、歧义消解和指代消解

        第一步，

了解本专栏 订阅专栏 解锁全文
Eastmount
关注
  • 5
    点赞
  • 踩
  • 50
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
订阅专栏
python余弦相似度
jacke121的专栏
03-26 7850
import time from sklearn.metrics.pairwise import cosine_similarity a = [[1, 1], [1, 0.8]] start=time.time() print(time.time()-start,cosine_similarity(a)[0][1]) import numpy as np a=[1,1] b=[1,0...
基于Python实现VSM余弦相似度计算
05-30
用2.7版本Python实现比较2个文档的相似度计算，采用余弦相似度方法，main函数中的fileName1和fileName2是自己构造的数据集，把这几个文档放在一起就可以运行。
如何在Python中实现文本相似度比较？
最新发布
05-10 527
在Python中实现文本相似度比较可以通过多种方法，每种方法都有其适用场景和优缺点。
[370]python简单实现基于VSM的余弦相似度计算
周小董
08-09 2591
在知识图谱构建阶段的实体对齐和属性值决策、判断一篇文章是否是你喜欢的文章、比较两篇文章的相似性等实例中，都涉及到了向量空间模型（Vector Space Model，简称VSM）和余弦相似度计算相关知识。 第一步，向量空间模型VSM 向量空间模型（Vector Space Model，简称VSM）表示通过向量的方式来表征文本。一个文档（Document）被描述为一系列关键词（Term）的向...
Python---计算余弦相似度
qq_41982466的博客
12-12 2346
python计算余弦相似度
vsm模型计算文本相似度
01-13
1.采用经典的vsm模型实现的文本相似度计算。 2.采用中科院ictclas的开源分词系统 3.包含全部实现源码
information-selection-VSM--Model.rar_VSM JAVA_vsm_相似度_相似度计算
09-21
VSM 实现计算文件的相似度，查询相似度计算出值来
论文研究-基于VSM的文本相似度计算的研究.pdf
07-22
文本相似度的计算作为其他文本信息处理的基础和关键，其计算准确率和...另一方面，利用特征项在特征选择阶段的权重对TDIDF方法进行加权处理，在不增加开销的情况下扩大了文档集的规模，还提高了相似度计算的精确度。
Python-Python3实现的文章余弦相似度计算
08-10
Python3 实现的文章余弦相似度计算
VSM模型构建样例项目文件
05-31
基于python3 编写的VSM模型构建样例，包含分词处理后的输入文件以及停用词文件
Python代码实现 余弦相似度（文本相似度算法）
04-19
余弦相似度算法
Python库 | vsm-0.4.0a16-py2.7-linux-x86_64.egg
04-19
资源分类：Python库 所属语言：Python 资源全名：vsm-0.4.0a16-py2.7-linux-x86_64.egg 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
简单向量空间模型VSM算法的实现
07-22
简单向量空间模型可用于文档相似度的计算，也可以用于检索信息，配有详细的注释
余弦相似度算法python_Python简单实现基于VSM的余弦相似度计算
weixin_39968319的博客
12-05 217
计算“百度百科-故宫”和“互动百科-故宫”的消息盒相似度代码如下。基本步骤：1.分别统计两个文档的关键词，读取txt文件，CountKey()函数统计2.两篇文章的关键词合并成一个集合MergeKey()函数，相同的合并，不同的添加3.计算每篇文章对于这个集合的词的词频 TF-IDF算法计算权重，此处仅词频4.生成两篇文章各自的词频向量5.计算两个向量的余弦相似度，值越大表示越相似# -*- co...
python 相似性计算方法 - 余弦相似度，皮尔逊相关系数
qq_40671063的博客
09-23 4222
python 相似性计算方法 - 余弦相似度，皮尔逊相关系数
python 余弦相似性_数据挖掘：度量数据的相似性和相异性
weixin_34571341的博客
01-29 1138
本文亮点：使用python实现了书中涉及的标称属性,二元属性,数值属性,序数属性和混合属性的距离计算。talk is cheap, this is my code ，请在我们公众号"数据臭皮匠"后台回复"第二章3"获取本文涉及的代码、思维导图、数据集等资料在诸如聚类、离群点分析和最近邻分类等数据挖掘应用中,我们需要评估对象之间的相似程度或不相似程度。典型的,相似性值介于0到1之间,如果两个对象i，...
python 余弦相似度计算(faiss)
supergxt的博客
11-04 7867
faiss faiss是为稠密向量提供高效相似度搜索和聚类的框架。由Facebook AI Research研发。 详见github https://github.com/facebookresearch/faiss faiss常用的两个相似度搜索是L2欧氏距离搜索和余弦距离搜索（注意不是余弦相似度） 简单的使用流程： import faiss index = faiss.IndexFlatL2(d) # 建立L2索引,d是向量维度 index = faiss.IndexFlatIP(d) # 建立In
请详细说明一下什么是余弦定理相似度计算法
06-07
余弦定理相似度计算法是一种常用的文本相似度计算方法，用于度量两个文本向量之间的夹角余弦值，从而判断它们的相似程度。该算法基于向量空间模型（VSM），将文本转化为向量表示，并通过计算向量之间的余弦相似度，来衡量文本之间的相似度。 具体来说，对于两个文本$A$和$B$，可以将它们表示为向量$\vec{a}$和$\vec{b}$，每个维度表示对应词汇在文本中出现的次数或权重。例如，假设文本$A$和$B$中包含的词汇集合为$V=\{w_1, w_2, ..., w_n\}$，则可以将它们表示为一个$n$维向量，每个维度表示对应词汇在文本中出现的次数或权重。例如，对于文本$A$和$B$，分别表示为向量$\vec{a}=(a_1, a_2, ..., a_n)$和$\vec{b}=(b_1, b_2, ..., b_n)$，其中$a_i$和$b_i$表示词汇$w_i$在文本$A$和$B$中出现的次数或权重。 然后，通过计算向量$\vec{a}$和$\vec{b}$之间的余弦相似度，来衡量文本$A$和$B$之间的相似度。余弦相似度的计算公式如下： $$\cos(\theta)=\frac{\vec{a}\cdot\vec{b}}{\|\vec{a}\|\|\vec{b}\|}$$ 其中，$\vec{a}\cdot\vec{b}$表示向量$\vec{a}$和$\vec{b}$的点积，$\|\vec{a}\|$和$\|\vec{b}\|$分别表示向量$\vec{a}$和$\vec{b}$的模长，$\theta$表示向量$\vec{a}$和$\vec{b}$之间的夹角。 余弦相似度的取值范围在$[-1, 1]$之间，当$\cos(\theta)=1$时，表示两个向量夹角为0度，即完全相似；当$\cos(\theta)=-1$时，表示两个向量夹角为180度，即完全不相似；当$\cos(\theta)=0$时，表示两个向量夹角为90度，即没有相关性。 余弦定理相似度计算法的优点是简单易懂，适用于处理各种类型的文本数据，缺点是没有考虑词汇之间的语义关系，对于一些语义相似但表现形式不同的文本，可能会出现误判的情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Eastmount

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值