基于向量余弦的文件相似度计算

最新推荐文章于 2023-01-01 19:35:50 发布
VIP文章 最新推荐文章于 2023-01-01 19:35:50 发布
阅读量3.4k 收藏 3
点赞数 3
分类专栏： c语言 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/He11o_Liu/article/details/72601796
版权

注意

  • 请在unix like系统下运行下面的程序

  • 请安装python和python-docx

  • 请先详细阅读Readme

  • 若程序出错，试着改宏定义。

  • 侧写用内存保存，当目录下文件过多，或者文件过大会导致问题。

  • 切换n-grams和n-word请先make clean

源码

Github He11oLiu/TextSimilarity

准备工作

根据参考文献[1]，文本相似度计算的方法主要有两种

  • 余弦定律
  • Jaccard index

余弦定律

从参考资料[3]

  • 文本1中出现的字有： Z1C1,Z1C2…Z1Cn
  • 在文本中出现的次数有： Z1n1,Z1n2…Z1nn
最低0.47元/天 解锁文章
He11o_Liu
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第7-1课：余弦相似度与相似算法（图文篇）
oRbIt 的专栏
09-22 2383
相似度算法是计算个体之间相似程度的算法，此类算法多如牛毛，这里我们只讨论用于处理文字之间相似度的算法。文本之间的相似度计算应用广泛，比如论文抄袭的判断，就可以用相似度算法先预筛查一遍；再比如网站的文章自动分类，就是根据相似度将文章自动分入科技、体育、军事等类别中。此外，广告推送、订单识别等场合，也会用到文本相似度的判断。 余弦相似度（余弦距离） 通常用于判断相似度的理论有很多，比如欧氏距离...
milvus_cibr:使用Milvus（矢量相似度搜索引擎）识别猫和狗
03-05
Milvus用于猫和狗的基于内容的图像检索 挑战在于使用Milvus创建端到端的应用程序场景。 从David Shvimer的Towards Data Science帖子（ ）中汲取灵感，我决定使用Milvus检测图像的矢量相似性，主要是猫和狗。 就像在提到的文章中一样，我首先决定使用转移学习进行特征提取，并使用转移学习中的特征来计算图像之间的余弦相似度。 然后我将特征向量输入Milvus。 数据链接在这里： ://www.kaggle.com/c/dogs-vs-cats/data?select=test1.zip在这里，我仅使用了“ test1.zip”的子集，该子集也在此链接资料库。 跑步： 安装Docker 下载数据和文件并在根目录中运行docker-compose up 评论/反馈 Milvus提供了一种进行向量相似度搜索的简便方法，并且可以多种方式使用。 用例非常庞
【文本相似性计算】winnowing算法
夜谷子
09-25 3735
winnowing算法 算法原理 k-grams是指字符串中长度为k的子串，这些子串满足“高度邻接”（k值自定义）。比如一个字符串abcd，那么将abcd分解成3-grams就是abc和bcd两个子串，每个子串就称为一个3-gram。可以看到第二个子串仅仅是在第一个子串的基础上向后移了一个位置，所以对于一个长度为n的字符串，当我们将它分成k-grams后，将会形成n-k+1个子串，且每个子串长度...
相似图片去重--余弦相似度和sift算法
weixin_45861496的博客
05-10 3339
----------------题目------------------- 摄影师小刘爱好摄影，有许多照片（不同格式，不同分辨率），有的是自己拍摄的，有的是朋友的相机帮忙拍到的。 但他很苦恼，因为有很多照片是类似的（比如，稍微偏了一点角度），请用程序帮他把类似的图片挑选出来。 1.准备数据 准备了120张图片，格式有png，jpg各占一半，且有三种大小1：1，4：3，full 均分。 2.实验设计思路 （1）统一图片格式，方便下一步的比较——300*300的png格式。 （2）计算两张图片之间的距离，判定图
使用余弦相似度计算文本相似度
哈哈哈哈哈哈哈
02-02 1万+
余弦相似性：两个向量的夹角越接近于0，其余弦值越接近于1，表面两个向量越相似。**文本相似度计算大致流程：** - 分词 - 合并 - 计算特征值 - 向量化 - 计算向量夹角余弦值
相似度计算（1）——余弦相似度
weixin_43876625的博客
03-16 1万+
余弦相似度   余弦相似度：用向量空间中两向量夹角的余弦值作为衡量两个个体之间差异的大小。余弦值越接近1，表明两个向量的夹角越接近0度，则两个向量越相似。余弦值越接近0，表明两个向量的夹角越接近180度，则两个向量越不相似。   如存在向量a=(x1,y1)和向量b=(x2,y2)，由几何定义计算内积a·b=|a||b|cosθ，可知：   则根据二维向量引向多维向量A(x1,y1,z1…)和B(x2,y2,z2…)，其中Ai和Bi为向量中的各个分量。可得：   简单举例：根据一下三个用户对不同物品的偏
Python实现文本相似度比较分析
Zhangguohao666的博客
01-19 1万+
创建文档摘要向量之后，可通过比较两个文档摘要向量的距离的方法来判断两个文档的相似度。
c语言余弦定理float,余弦相似度公式
weixin_29149245的博客
05-20 1077
已计算出个文本间的余弦相似度值，怎么用kmeans聚类K-MEANS算法: k-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较校聚类相似度是利用各聚类中对象的均值所获得一个“中心对象如何计算两个不同长度的向量的余弦相似度(1)余弦相似性 通过测量两个向量之间的角的余弦值来度量它们之间的相似性。0度...
计算两个向量的余弦相似度
AI浩
01-01 5074
余弦相似度是判断两个向量相似度常用的算法，我在做行人重识别的时候，用到了余弦相似度的算法，记录一下。
基于兴趣和行为预测的移动社交网络动态资源发现机制
01-14
IBRD 首先从用户的文件资源和信息表中提取兴趣向量，然后通过节点间的余弦相似度计算构造初始的虚拟兴趣社区。之后，通过对移动社交数据的分析，建立半马尔可夫链模型以预测节点的行为和运动轨迹。依据模型的预测...
社会信息检索作业，实现简单的搜索引擎，计算TFIDF值以及两个句子的相似度
02-23
社会信息检索作业，实现简单的搜索引擎，计算TFIDF值以及两个句子的相似度 应用介绍 ...SJet：实现基于向量空间模型（VSM）的搜索引擎。 运行环境 Linux python 2.7 jieba flask 0.12 若干flask扩展
基于JAVA给定训练新闻数据集，可以对输入的测试新闻进行自动分类识别+源代码+文档说明
01-11
总体上利用了余弦相似度计算的原理来计算文本相似度 其中的特征向量由训练数据集中的关键词构成，其中词语的寻找利用了中科大的ICTCLAS分词系统来做，提取其中的专业性的名词 利特征向量与标准向量进行余弦值的计算 ...
人工智能-项目实践-信息检索-基于VGG-16的图像检索系统
最新发布
02-29
基于VGG-16的图像检索系统 选取图像特征 ...为了简便，直接用Keras的预训练模型 索引化数据集 对图像库中的每张图片抽取特征，存储...首先提取测试图片的特征，再与数据库中的向量逐一计算距离，然后排序，取相似度Top3
计算向量相似度 ---余弦相似度
weixin_44663671的博客
07-21 4782
1.余弦相似度可用来计算两个向量的相似程度 对于如何计算两个向量的相似程度问题，可以把这它们想象成空间中的两条线段，都是从原点（[0, 0, …]）出发，指向不同的方向。两条线段之间形成一个夹角，如果夹角为0度，意味着方向相同、线段重合；如果夹角为90度，意味着形成直角，方向完全不相似；如果夹角为180度，意味着方向正好相反。因此，我们可以通过夹角的大小，来判断向量的相似程度。夹角越小，就代表越相似。 以二维空间为例，上图的a和b是两个向量，我们要计算它们的夹角θ。余弦定理告诉我们，可以用下面的公式求得：
日常学习之：如何计算两个向量或者矩阵的余弦相似度
热门推荐
qq_42902997的博客
01-23 2万+
原理 余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性" 我们都学过向量的内积公式： 其中 aaa 和 bbb 可以是高维的向量，例如 所以我们将向量 a,ba,ba,b 对应位置上的数值对应相乘再相加即可得到 a⋅ba·ba⋅b 然后通过化简可以得到下面公式并求出两个 nnn 维向量之间的夹角 θ\thetaθ ，而我们用这两个向量之间的 θ\thetaθ 角来表征这两个向量的相似程度。 所以
余弦相似度
weixin_42588672的博客
12-23 2514
余弦相似度是用来衡量两个向量之间的相似度的一种常用方法。具体来说，余弦相似度计算的是两个向量的夹角的余弦值，并以此来表示两个向量的相似度。 余弦相似度的计算公式如下： 相似度 = 向量A · 向量B / (向量A的模长 * 向量B的模长) 其中，向量A和向量B分别表示要比较相似度的两个向量，向量A · 向量B表示向量的点乘，向量A的模长和向量B的模长分别表示向量A和向量B的长度。 在计算余弦相似度...
基于K-gram的winnowing特征提取剽窃查重检测技术（概念篇）
编程小栈
11-10 1万+
写在前面的话偶尔出来放个比较大的招啦。这是我自己目前研究领域的一分部，基于k-gram hash 查重检测文档的相似性这个技术已经是相当成熟的。这个是我这几个月的工作方向中最小的一个模块之一，现在和大家稍微稍微稍微的分享一下我自己的感悟和心得。我比较菜，也比较水，可能很多东西没有前辈们掌握的更加透彻，参悟的更加明白，欢迎各位大神给我提提意见。前天改完作业，我突然发现了好几份相似的代码，逻辑思维和代码
k-shingles与minhash技术
I am not a quitter.
11-19 9735
对于web网页去重的应用，如抄袭、镜像等，通过将网页表示为字符k-grams（或者k-shingles）的集合，把网页去重的问题转化为找到这些集合的交集。使用传统的方法存储这些巨大的集合以及计算它们之间的相似性显然是不够的，为此，对集合按某种方式进行压缩，利用压缩后的集合推断原来集合的相似性。   Jaccard相似性：只关注集合之间的交集大小。 集合S和T的Jaccard相似性定义如下：
基于python、RoBERTa、transformers模型编写以下任务的代码：采用Google 提供的 Bert-Base-Chinese 模型，隐层输出维度为 768，学习率为 1e-6。先人工手动选取部分隐私词作为种子词，得到种子词列表；利用BERT模型训练大量的微博用户博文文本语料，获取词向量，然后其他词汇与已有种子词的相似度问题就转变成了向量相似度的问题；本任务采用余弦相似度，两个向量之间的余弦相似度越大说明它们关联度越高，余弦相似度计算两者采用的词向量是根据神经网络的最后四层来进行构建的，因为最后四层的效果最好，可以使用拼接的方式，也可以使用求和取平均的方式来获取词向量的编码；利用部分种子词和训练好的模型输出最相似的词汇，将每个种子词与其对应的相似词汇放在一个列表以”种子词：相似词汇“格式输出，将语义相近的词汇聚集在一起，对每一个种子词的关联词汇进行合并和去重，再进行人工筛选；设关联度阈值为q，语料中满足一定关联度阈值的词才能被定义为相关隐私词，并放入到隐私词库中；词库达到一定规模后，对词库进行过滤去重。
06-02
if similarity > 0.8: # 设定余弦相似度阈值 similar_words[seed_word].append(word) # 合并和去重相似词汇 merged_words = defaultdict(set) for seed_word in similar_words: for word in similar_words[seed...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值