TF-IDF与余弦相似性的应用：找出相似文章

最新推荐文章于 2024-09-15 23:59:42 发布
最新推荐文章于 2024-09-15 23:59:42 发布
阅读量185 收藏
点赞数
分类专栏： 自然语言处理 文章标签： 自然语言处理 提取关键词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36752919/article/details/82348290
版权

为了找出相似的文章，需要用到”余弦相似性”（cosine similarity）。下面，我举一个例子来说明，什么是”余弦相似性”。
如果两句话用词越相似，它们的内容就应该越相似。因此，可以从词频入手，计算它们的相似程度。
1. 分词(把句子按照单词拆分开)

句子A：我/喜欢/看/电视，不/喜欢/看/电影。

句子B：我/不/喜欢/看/电视，也/不/喜欢/看/电影。
  1. 列出所有的词
我，喜欢，看，电视，电影，不，也。
  1. 计算词频
句子A：我 1，喜欢 2，看 2，电视 1，电影 1，不 1，也 0。

句子B：我 1，喜欢 2，看 2，电视 1，电影 1，不 2，也 1。
  1. 写出词频向量
句子A：[1, 2, 2, 1, 1, 1, 0]

句子B：[1, 2, 2, 1, 1, 2, 1]

到这里，问题就变成了计算这两个向量的相似程度。可以通过夹角的大小，来判断向量的相似程度

cosθ=A⃗ B⃗ ∣∣A⃗ ∣∣∣∣B⃗ ∣∣ cos ⁡ θ = A → B → | A → | | B → |

沈华65536
关注
专栏目录
TF-IDF与余弦相似性的应用（二） 找出相似文章
09-20
TF-IDF（Term Frequency-Inverse Document Frequency）与余弦相似性是文本挖掘和信息检索领域常用的两种技术，常被用于找出文档之间的相似性。TF-IDF是一种衡量词语在文档中重要性的方法，它考虑了词语在文档内的...
TF-IDF算法和余弦相似度算法计算文本相似度（纯手撕）
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
09-06 9643
一、TF-IDF算法   TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。   TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。   TF-IDF的主要思想是：如果某个单词在一篇文章中
Python TFIDF计算文本相似度
BeforeEasy的博客
02-02 8520
本文主要参考https://stackoverflow.com/questions/12118720/python-tf-idf-cosine-to-find-document-similaritStackOverflow的回答 主要是使用sklearn的TfidfTransformer cosine_similarity就是计算L2归一化的向量点乘。如果x,y是行向量，它们的cosine sim...
Cosine Similarity(余弦相似度)
li_li_li_lili的博客
06-09 6405
首先将两个样本映射到特空间中，得到特征向量表示，然后计算两个特征向量之间的相似度。 计算方法： 余弦值越大，两个样本越相似。 代码实现： public double cosineSimilarity(int[] A, int[] B) { double up=0; double downl=0; double downr=0; for(int i=0;i<A.length;i++){ int a=A[i];
TF-IDF与余弦相似性的应用（二）：找出相似文章
wangqz1027的专栏
06-02 1145
作者： 阮一峰 日期： 2013年3月21日 上一次，我用TF-IDF算法自动提取关键词。 今天，我们再来研究另一个相关的问题。有些时候，除了找到关键词，我们还希望找到与原文章相似的其他文章。比如，"Google新闻"在主新闻下方，还提供多条相似的新闻。 为了找出相似的文章，需要用到"余弦相似性"（cosine similiarity）。下面，我举一个例子来
TF-IDF与余弦相似性的应用
04-16
TF-IDF与余弦相似性的应用 TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的关键词提取算法，应用于自动关键词提取、信息检索等领域。该算法的优点是简单快速，结果比较符合实际情况。TF-IDF 算法...
TF-IDF与余弦相似性的应用（一） 自动提取关键词
12-24
TF-IDF与余弦相似性的应用（一）：自动提取关键词 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工...
利用tf-idf计算文本相似度
qq_31239371的博客
10-29 5774
关于使用tf-idf进行文本相似度的计算，个人觉得这两篇文章讲解的很好：https://blog.csdn.net/Jorocco/article/details/82223675，https://blog.csdn.net/pcy1127918/article/details/79955949?utm_source=blogxgwz2，大家可以去看一看。我在这里说一些自己在学习文本相似度的计算的...
TF-IDF与余弦相似性
很吵请安静
08-16 1867
“词频”（Term Frequency，缩写为TF），停用词：表示对找到结果毫无帮助、必须过滤掉的词，如”的”、”是”、”在”—-这一类最常用的词 判定一个词的重要性：需要一个重要性调整系数，衡量一个词是不是常见词。如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。用统计学语言表达，就是在词频的基础上，要对每个词分配一个”重要性”权重。这...
TF-IDF及相关知识（余弦相似性）
昆兰.沃斯 的博客
09-15 2849
自然语言的处理是一个神奇的领域，它涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，由于复习相关知识，所以这里对该方向的部分知识做一个简单的介绍和记录。 该文主要记录的是一个很简单却很经典有效的算法——TF-IDF。从它的概念到运算可能花不了10分钟就能了解，并且用到的运算知识都不涉及高等数学，但往往能返回我们一个满意的答案。 当我们输入一段检索信息时，可以利用TF-IDF算法，给我们返...
数据挖掘笔记-寻找相似文章-Java
PURSUE ONE PIECE
07-03 2395
TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，互联网上的搜寻引擎还会使用基于连结分析的评级方法，以确定文件在搜寻结果
tf-idf 余弦相似度_scitkit-learn：计算机科学论文的TF / IDF和余弦相似度
danpu0978的博客
05-21 503
tf-idf 余弦相似度 几个月前，我下载了几千篇计算机科学论文的元数据，以便尝试编写一个迷你推荐引擎来告诉我接下来应该读什么论文。 由于我没有任何人可以阅读每篇论文的数据，因此排除了协作过滤方法，所以我认为我可以尝试基于内容的过滤。 让我们快速检查一下基于内容过滤的Wikipedia定义 ： 在基于内容的推荐器系统中，关键字用于描述项目，并且用户配置文件用于指示该用户喜欢的项目...
TF-IDF与余弦相似性的应用（一）：自动提取关键词
wangqz1027的专栏
06-02 6846
作者： 阮一峰 日期： 2013年3月15日 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？ 这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经
小琳AI课堂：确保大语言模型安全的八大策略--从数据隐私到用户教育
最新发布
wx740851326的博客
09-15 178
首先，我们要明白，保证大语言模型的安全，需要从多个方面入手，确保模型在技术、法律、伦理和社会层面都得到妥善处理。大家好，这里是小琳AI课堂。今天我们深入探讨如何保证大语言模型的安全，这可是关系到我们每个人哦！
BART&BERT
GDHBFTGGG的博客
09-15 744
model_name = "facebook/bart-large-cnn" # 选择一个BART模型，这里使用CNN新闻摘要任务的预训练模型。尽管BART和BERT在设计和应用上有所不同，但它们都利用了Transformer的强大能力来处理自然语言，并在NLP领域取得了显著的成果。model_name = "bert-base-uncased" # 选择一个BERT模型。model.eval() # 将模型设置为评估模式。# 加载预训练的BERT模型和分词器。# 加载预训练的BART模型和分词器。
NLP(文本处理技术)在数据分析中的应用实例
eeee~~的博客
09-12 1277
在Python中，可以实现多种自然语言处理（NLP）技术。比如文本预处理，情感分析和主题建模等。
基于ESP32S3的链接大语言模型对话模块
wqsdqw的博客
09-12 577
本实物模块从实物外观、模块组成、API申请及功能说明四部分来介绍这款基于ESP32S3的大语言模型对话模块。
论文翻译：USENIX-2021 Extracting Training Data from Large Language Models
CSPhD-winston的博客
09-12 1011
现在，发布在私有数据集上训练的大型（数十亿参数）语言模型已经变得很常见。本文展示了在这种设置中，攻击者可以通过查询语言模型来恢复个别训练样本，从而执行训练数据提取攻击。我们在GPT-2上展示了我们的攻击，GPT-2是一个在公共互联网抓取的数据上训练的语言模型，我们能够从模型的训练数据中提取数百个逐字文本序列。这些提取的示例包括（公共）个人身份信息（姓名、电话号码和电子邮件地址）、IRC对话、代码和128位UUID。即使在训练数据中每个上述序列只包含在一个文档中，我们的攻击也是可能的。
TF-IDF算法与余弦相似性：自动关键词提取
在实际应用中，TF-IDF和余弦相似性常被结合使用，例如在搜索引擎中，当用户输入查询时，搜索引擎会计算查询词与每个文档的TF-IDF向量，并使用余弦相似性找出最相关的文档返回给用户。此外，这种技术也被广泛应用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值