TF-IDF简易说明

最新推荐文章于 2021-12-01 13:31:06 发布
最新推荐文章于 2021-12-01 13:31:06 发布
阅读量351 收藏 1
点赞数
分类专栏： 机器学习 文章标签： tf-idf 文章分类

百度新闻之类的系统，它从互联网上收集文章，然后自动分成“娱乐”“军事”等类别。可是计算机读不懂文章啊，那怎样让计算机读懂文章的内容并做出合适的分类呢？


大家都学过余弦定理吧，自动归类的算法有赖于余弦定理。




最简单的计算文章向量的方法是给定一个词表（如64000常用词），再计算文章中每个词的权重。权重算法下面再介绍。


所以，只要能够用一个向量来代表文章，然后计算它与分类向量的夹角，就能够做出分类了。



最简单的是求词汇的频率


但是只考虑词汇频率的算法是有漏洞的


那怎么计算一个词预测主题的能力呢，可以用到IDF。



结合词汇的频率和逆文本频率，就得到一种比较好的算法了。


- 本文出自中华MOD网，原文地址：http://www.1mod.org/thread-133190-1-1.html
一个人的场域
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tf-idf_tf-idf_
10-01
tf-idf算法简单分析多个pdf文件关键词
常用算法实现（一）——TF-IDF
大漠帝国的博客
06-27 1053
一.概述 TF-IDF（英文名: term frequency-inverse document frequency），引用百度百科的说法: TF-IDF是一种用于信息检索与数据挖掘的常用加权技术。 TF意思是词频(Term Frequency)，用在句子构成的语料中，就是字或者词在文本中出现的频率。 一般计算是: TF =...
瞎聊机器学习——TF-IDF算法（原理及代码实现）
二哥为啥不像程序员？
05-16 7507
TF-IDF的概念 TF-IDF是Term Frequency - Inverse Document Frequency的缩写，即“词频-逆文本频率”。它由两部分组成，TF和IDF。 TF策略我在之前的高频词提取文章中进行过使用，TF用来表示词频，也就是某个词在文章中出现的总次数，也就是： TF=某个词在文章中出现的总次数 但是考虑到每篇文章的长短是不同的，所以我们可以把上述内容进行一个...
nlp---TF-IDF原理及使用
飘过的春风
05-03 1万+
“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。” 一. 什么是TF-IDF TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率). 是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方...
TF-IDF的简单理解
摆渡者
03-15 3784
1、TF-IDF简介 TF：Term Frequency 词频，指的是给定一个词在该文档中出现的次数 IDF：Inverse Document Frequency 逆文档频率 可以简单的理解成：一个词语在一篇文章中出现的次数越多，同时在其他的所有文档中出现的次数越少，越能够代表该文章2、TF IDF计算2.1 TF TF指的是某一个给定的词语在该文档中出现的次数，由于文档的长度不一，防止TF偏向...
[转载]TF-IDF模型的概率解释
iteye_6082的博客
12-13 518
信息检索概述 信息检索是当前应用十分广泛的一种技术，论文检索、搜索引擎都属于信息检索的范畴。通常，人们把信息检索问题抽象为：在文档集合D上，对于由关键词w[1] … w[k]组成的查询串q，返回一个按查询q和文档d匹配度relevance(q, d)排序的相关文档列表D’。 对于这一问题，先后出现了布尔模型、向量模型等各种经典的信息检索模型，它们从不同的角度提出了自己的一套解决方案。布...
Python爬取十篇新闻统计TF-IDF
12-25
统计十篇新闻TF-IDF 统计TF-IDF词频，每篇文章的 top10 的高频词存储为 json 文件 TF-IDF TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法...
TF-IDF算法示例代码
01-20
# TF-IDF算法示例 # 0.引入依赖 import numpy as np import pandas as pd import math # 1.定义数据和预处理 docA = The cat sat on my bed docB = The dog sat on my knees bowA = docA.split( ) bowB = docB.split...
TF-IDF：NLP中的TF_IDF的公式，并与Sklearn中的结果进行比较
02-26
TF-IDF：NLP中的TF_IDF的公式，并与Sklearn中的结果进行比较
tf-idf:给定查询字符串q和文档语料库，请使用tf-idf检索与查询字符串最匹配的前k个文档
05-13
＃TF-IDF任务给定查询字符串q和文档语料库，请使用tf-idf检索与查询字符串最匹配的前k个文档数据集在文件dataset.txt中有一个板球评论单位列表。 板球评论的一个单位是1个球的评论，它构成1个文件。 在执行程序之前...
TF-IDF详细介绍
ustbbsy的博客
03-10 1万+
1，TF-IDF 引用百度百科的解释： TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 TF（Term Frequency）词频：该文章中出现该词的次数除以文章总词数。 IDF（Inverse Document Frequency）逆向文...
TF-IDF算法详解与实践
LitraLIN的博客
12-01 2507
TF-IDF算法 文章目录TF-IDF算法1、TF-IDF算法介绍2、TF-IDF的应用3、怎么使用TF-IDF3.1 sklearn实现TF-IDF算法3.2 参数介绍4、TF-IDF的不足 1、TF-IDF算法介绍 TF-IDF（term frequency-invers document frequency，词频-逆向文件频率）是一种常用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。 TF-IDF是一种统计方法，用于评估一字词对于一个文件集
详解TF-IDF
来自宇宙岛的海龟的博客
12-22 942
目录什么是TF-IDF怎么计算举例例1例2再看代码 什么是TF-IDF TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency)，IDF意思是逆文本频率指数(Inverse Document Frequency)。TF-IDF是一种统计方法，用以评估一字词对于一个文件...
TF-IDF原理及使用
热门推荐
一路风景
12-18 16万+
一. 什么是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率). 是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 上述引用总结就
tf-idf和lgs简单的例子
zj1244
01-24 710
import pandas as pd import numpy as np from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model.logistic import LogisticRegression from sklearn.model_selection import trai
【机器学习】详解 TF-IDF 与 TF-IWF
闻韶
05-27 6117
【机器学习】详解 TF-IDF 与 TF-IWF
TF-IDF算法介绍及实现
嘻哈吼嘿呵的博客
09-17 3395
1、TF-IDF算法介绍 TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要...
TF-IDF模型详解
a567676的博客
08-23 685
1. 理论基础 　　由于数据挖掘所有数据都要以数字形式存在，而文本是以字符串形式存在。所以进行文本挖掘时需要先对字符串进行数字化，从而能够进行计算。TF-IDF就是这样一种技术，能够将字符串转换为数字，从而能够进行数据计算。 　　TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-...
TF-IDF算法讲解
qq_45893319的博客
07-31 3万+
什么是 TF-IDF 算法？ TF（全称TermFrequency），中文含义词频，简单理解就是关键词出现在网页当中的频次。 IDF（全称InverseDocumentFrequency），中文含义逆文档频率，简单来说就是该关键词出现在所有文档里面的一种数据集合。 在信息检索中，tf-idf或TFIDF（术语频率 – 逆文档频率的缩写）是一种数字统计，旨在反映单词对集合或语料库中的文档的重要程度。 它经常被用作搜索信息检索，文本挖掘和用户建模的加权因子。tf-idf值按比例增加一个单词出现在文档中的次数，并
tf-idf bm25
最新发布
09-21
TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的文本特征提取方法。它通过计算一个词在文档中的频率（Term Frequency）和该词在整个语料库中的逆文档频率（Inverse Document Frequency）来衡量一个词的重要性和特异性。TF-IDF倾向于过滤掉常见的词语，保留重要的词语。 BM25是一种改进的TF-IDF算法，它引入了一些额外的参数来进一步优化文本相似度计算。与TF-IDF不同，BM25考虑了文档的长度和查询项的数量，这使得它能够更好地适应不同文本长度的情况。 与传统的TF-IDF相比，BM25在计算相似性得分时将query中每个词与每篇文档的改进后的TF-IDF值进行求和。因此，BM25可以被视为TF-IDF的一种改良版，它在一定程度上可以提供更好的效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值