TF-IDF与余弦相似性的应用

最新推荐文章于 2023-02-08 10:00:31 发布
最新推荐文章于 2023-02-08 10:00:31 发布
阅读量263 收藏
点赞数 1
文章标签： TF-IDF

为了找出相似的文章，需要用到"余弦相似性"（cosine similiarity）。下面，我举一个例子来说明，什么是"余弦相似性"。

为了简单起见，我们先从句子着手。

句子A：我喜欢看电视，不喜欢看电影。

句子B：我不喜欢看电视，也不喜欢看电影。

请问怎样才能计算上面两句话的相似程度？

基本思路是：如果这两句话的用词越相似，它们的内容就应该越相似。因此，可以从词频入手，计算它们的相似程度。

第一步，分词。

句子A：我/喜欢/看/电视，不/喜欢/看/电影。

句子B：我/不/喜欢/看/电视，也/不/喜欢/看/电影。

第二步，列出所有的词。

我，喜欢，看，电视，电影，不，也。

第三步，计算词频。

句子A：我 1，喜欢 2，看 2，电视 1，电影 1，不 1，也 0。

句子B：我 1，喜欢 2，看 2，电视 1，电影 1，不 2，也 1。

第四步，写出词频向量。

句子A：[1, 2, 2, 1, 1, 1, 0]

句子B：[1, 2, 2, 1, 1, 2, 1]

到这里，问题就变成了如何计算这两个向量的相似程度。

我们可以把它们想象成空间中的两条线段，都是从原点（[0, 0, …]）出发，指向不同的方向。两条线段之间形成一个夹角，如果夹角为0度，意味着方向相同、线段重合；如果夹角为90度，意味着形成直角，方向完全不相似；如果夹角为180度，意味着方向正好相反。因此，我们可以通过夹角的大小，来判断向量的相似程度。夹角越小，就代表越相似。

以二维空间为例，上图的a和b是两个向量，我们要计算它们的夹角θ。余弦定理告诉我们，可以用下面的公式求得：

假定a向量是[x1, y1]，b向量是[x2, y2]，那么可以将余弦定理改写成下面的形式：

数学家已经证明，余弦的这种计算方法对n维向量也成立。假定A和B是两个n维向量，A是 [A1, A2, …, An] ，B是 [B1, B2, …, Bn] ，则A与B的夹角θ的余弦等于：

使用这个公式，我们就可以得到，句子A与句子B的夹角的余弦。

余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。所以，上面的句子A和句子B是很相似的，事实上它们的夹角大约为20.3度。

由此，我们就得到了"找出相似文章"的一种算法：

（1）使用TF-IDF算法，找出两篇文章的关键词；

（2）每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（为了避免文章长度的差异，可以使用相对词频）；

（3）生成两篇文章各自的词频向量；

（4）计算两个向量的余弦相似度，值越大就表示越相似。

"余弦相似度"是一种非常有用的算法，只要是计算两个向量的相似程度，都可以采用它。

下一次，我想谈谈如何在词频统计的基础上，自动生成一篇文章的摘要。

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.2.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

aha1234aha
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
TF-IDF提取关键词并用余弦算法计算相似度
whzhcahzxh的专栏
12-25 7876
TF-IDF算法是一个很易懂的关键词提取算法，算法易实现，易懂且易操作，缺陷是将词频作为唯一考虑因素，且对于位置没有敏感性，位置的问题可以通过人为添加权重的方式改善，比如给第一段最后一段，或者每一段的第一句话加高权重。。。（类似于总分，总分总啥的文本结构吧） TF-IDF算法简单描述： TF是Term Frequency的缩写，即单纯的计算词频，比如，两句话分别是“我最喜欢吃我做的土豆
TF-IDF与余弦相似性的应用（二）：找出相似文章
wangqz1027的专栏
06-02 1142
作者： 阮一峰 日期： 2013年3月21日 上一次，我用TF-IDF算法自动提取关键词。 今天，我们再来研究另一个相关的问题。有些时候，除了找到关键词，我们还希望找到与原文章相似的其他文章。比如，"Google新闻"在主新闻下方，还提供多条相似的新闻。 为了找出相似的文章，需要用到"余弦相似性"（cosine similiarity）。下面，我举一个例子来
TF-IDF与余弦相似性的应用（一）：自动提取关键词
wangqz1027的专栏
06-02 6831
作者： 阮一峰 日期： 2013年3月15日 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？ 这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经
TF-IDF与余弦相似性的应用（三）：自动摘要
04-02 773
转自：http://www.ruanyifeng.com/blog/2013/03/automatic_summarization.html 有时候，很简单的数学方法，就可以完成很复杂的任务。 这个系列的前两部分就是很好的例子。仅仅依靠统计词频，就能找出关键词和相似文章。虽然它们算不上效果最好的方法，但肯定是最简便易行的方法。 今天，依然继续这个主题。讨论如何通过词频
基于 python TF-IDF K-means 算法的校园微博热点话题发现系统 附代码
机器学习深度学习业余选手
02-08 1823
基于 python TF-IDF K-means 算法的校园微博热点话题发现系统 附代码
TF-IDF与余弦相似性的应用（二） 找出相似文章
09-20
TF-IDF（Term Frequency-Inverse Document Frequency）与余弦相似性是文本挖掘和信息检索领域常用的两种技术，常被用于找出文档之间的相似性。TF-IDF是一种衡量词语在文档中重要性的方法，它考虑了词语在文档内的...
TF-IDF与余弦相似性的应用（一） 自动提取关键词
12-24
TF-IDF与余弦相似性的应用（一）：自动提取关键词 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工...
余弦相似度算法计算方法
04-29
余弦相似度算法
史上最全Markdown公式、符号总结！！！
Yale-曼陀罗
03-15 8万+
史上最全Markdown公式、符号总结常见公式1、向量公式2、分段函数3、多行表达公式常见公式环境公式编辑的编号设置矩阵1、不带括号的矩阵2、带小括号的矩阵3、带中括号的矩阵4、带大括号的矩阵5、带省略号的矩阵6、带横线/竖线分割的矩阵：上下标符号括号分式与根式开方累加/累乘三角函数对数函数二元运算符关系符号极限向量模运算箭头集合微积分逻辑运算希腊字母省略号空格其他符号表格格式设置 常见公式 一般...
CountVectorize和TfidVectorizer实例及参数详解
nowfuture的博客
08-18 6347
参考：https://blog.csdn.net/du_qi/article/details/51564303            https://blog.csdn.net/m0_37324740/article/details/79411651 一： CountVectorizer 类会将文本中的词语转换为词频矩阵。也就是通过分词后将所有的文档中的全部词作为一个字典（就是类似于新华字典...
Python编程练习-求excel数据的余弦相似度
ls080706的博客
11-13 2517
余弦相似度 余弦相似度是一种计算相关性的方法，它是将个体的指标数据映射到向量空间，计算两个向量之间的夹角余弦值作为两个变量之间的相似性度量。 两个向量m和n之间的余弦相似度计算公式为: cosα=mn∣m∣∣n∣cos\alpha=\frac{mn}{|m||n|}cosα=∣m∣∣n∣mn​ cos<x,y>=∑i=1nxiyi∑i=1nxi2∑i=1nyi2cos<x,y>=\frac{\sum_{i=1}^{n}x_{i}y_{i}}{\sqrt {\sum_{i=1}^{n}
相似度算法之余弦相似度
热门推荐
牧野之歌
07-16 21万+
转自：http://blog.csdn.net/u012160689/article/details/15341303 余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。 上图两个向量a,b的夹角很小可以说a向量和b向量有很高的的相似性，
计算两篇文档的余弦相似度（tfidf）
kelly131313的博客
06-29 5012
# -*- coding:utf-8 -*- """ @author: Linlifang """ import os import jieba import sys import re import string from sklearn.feature_extraction.text import TfidfTransformer from sklearn.feature_extract
TfidfVectorizer
weixin_43591355的博客
09-30 1378
1、参数： https://blog.csdn.net/feng_zhiyu/article/details/81952697 https://cloud.tencent.com/developer/article/1332181 2、 https://www.jianshu.com/p/e2a0aea3630c https://www.wandouip.com/t5i134289/ https:...
智能信息检索——利用SIMNOMERGE余弦相似度计算文档得分的算法实现
lazyn的博客
05-03 1393
智能信息检索——利用SIMNOMERGE余弦相似度计算文档得分的算法实现1．实验目的2．实验任务与要求3．实验说明书⑴功能描述⑵概要设计⑶详细设计⑷代码实现4．实验成果 《信息检索导论》部分实验python实现汇总请进入此博客查看。 1．实验目的 通过实验，使学生掌握利用 SIMNOMERGE余弦相似度计算文档得分的算法 2．实验任务与要求 XML由于文档包含非常复杂的树形结构，属性之间还存在嵌套...
使用余弦定理计算文本相似度
liuxiangke0210的专栏
12-26 2105
原文链接：https://www.biaodianfu.com/cosine_similarity.html 文本相似度： 收藏链接：通俗易懂 http://www.ruanyifeng.com/blog/2013/03/tf-idf.html http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html     什么是余...
【推荐系统-＞相似度算法】余弦相似度
小明2766的博客
12-21 3445
转自相似度算法之余弦相似度 余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。 上图两个向量a,b的夹角很小可以说a向量和b向量有很高的的相似性，极端情况下，a和b向量完全重合。如下图： 如上图二：可以认为a和b向量是相等的，也即a，b向量代表的文本是完全相似的，或者说是相等的。如果a和b向量夹角较大，或者反方向。如下图 如上图三: 两个向量a,b的夹角很大可以说a向.
TF-IDF余弦相似度
最新发布
08-28
TF-IDF余弦相似度是一种常用的文本相似度计算方法。TF-IDF（term frequency–inverse document frequency）表示词频-逆向文件频率，用于评估一个词在一个文件集或语料库中的重要程度。TF-IDF的计算公式为TF-IDF = TF（词频）* IDF（逆文档频率），其中词频指的是一个词在一篇文章中出现的频率，逆文档频率指的是该词在整个语料库中出现的频率的倒数。通过计算文本中每个词的TF-IDF值，并将其表示为向量，可以根据这些向量之间的夹角余弦值来衡量文本之间的相似度。余弦值越接近1，表示夹角越接近0度，即两个文本越相似。因此，TF-IDF余弦相似度可以用于查找相似的文章或进行文本分类等任务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [TF-IDF与余弦相似性的应用（二） 找出相似文章](https://download.csdn.net/download/weixin_38614417/12871339)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [TF-IDF算法和余弦相似度算法计算文本相似度（纯手撕）](https://blog.csdn.net/yjh_SE007/article/details/108429694)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值