TF-IDF和余弦相似度

这篇博客介绍了如何使用Python中的scikit-learn库进行TF-IDF和余弦相似度计算,特别是在新闻文章检索问题中的应用。首先讲解了基于频率的文档表示,然后详细阐述了TF-IDF的概念,接着展示了如何定义和使用函数来处理CSV数据,以及如何利用pandas库。最后,通过实际例子展示了如何计算新闻文章与搜索词之间的余弦相似度。
摘要由CSDN通过智能技术生成

你今天会学到什么

1. 基于频率的文档表示

2. TF-IDF(Term Frequency-Inverse Document Frequency):词汇频率-逆文档频率

1. 基于频率的文档呈现

早些时候,我们了解了基于频率的幻灯片文档演示。(简单频率与 TF-IDF)

这里,我们直接计算TF-IDF(Term Frequency-Inverse Document Frequency)

此外,我们将通过计算余弦相似度来练习计算文档之间的相似度。

此外,使用名为scikit-learn的Python 机器学习库,

我们再计算一下TF-IDF余弦相似度。

👉在这里等着!

以后,多个文档之间(文档X文档)或者多个文档与各种搜索词(文档X搜索词)

多次计算余弦相似度,

当多次执行相同的计算时,通过定义函数来执行计算更容易。

因此,让我们了解使这成为可能的Python 函数。

并且它可以轻松处理逗号分隔值(CSV)这种具有代表性的数据格式。

介绍Pandas库。

(a) 使用 def 调用函数

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哈都婆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值