文本分析系列——词语权重算法：TF-IDF算法

最新推荐文章于 2024-03-20 12:59:59 发布
VIP文章 最新推荐文章于 2024-03-20 12:59:59 发布
阅读量8.7k 收藏 8
点赞数 2
分类专栏： 文本语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013654622/article/details/48549679
版权

简介

     TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

  • 词频（term frequency，TF）指的是某一个给定的词语在该文件中出现的频率；
  • 反文档频率（inverse document frequency，IDF），即某一个给定词语在文档集合中出现的次数与文档总数的商；

理论

如果某个词或短语在一篇文章中出现的频率高，并且在文档集合中出现频率低，则认为此词或者短语具有很好的类别区分能力。

 

适用场合

文本分类、基于向量空间模型的文本分类方法

 

最低0.47元/天 解锁文章
做工程师的IT猫
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关键词权重计算算法 - TF-IDF
Hyman's Blog
06-23 2万+
TF-IDF（term frequency–inverse document frequency）算法介绍
nlp任务中词的权重计算
m0_74184968的博客
08-01 225
它是对文档频率的倒数，文档频率指包含某个词的文档数目。TF-IDF（Term Frequency-Inverse Document Frequency）： TF-IDF 是将词频和逆文档频率结合起来计算词的权重，用于衡量一个词在文本中的重要程度。这些方法仅是词权重计算的一部分，还有其他方法如基于词共现矩阵的方法、词嵌入（Word Embedding）等也可以用于计算词权重。计算文本中词的权重是自然语言处理中的一个常见任务，可以根据不同的应用场景和需求使用不同的权重计算方法。
TF-IDF算法讲解
热门推荐
qq_45893319的博客
07-31 3万+
什么是 TF-IDF 算法？ TF（全称TermFrequency），中文含义词频，简单理解就是关键词出现在网页当中的频次。 IDF（全称InverseDocumentFrequency），中文含义逆文档频率，简单来说就是该关键词出现在所有文档里面的一种数据集合。 在信息检索中，tf-idf或TFIDF（术语频率 – 逆文档频率的缩写）是一种数字统计，旨在反映单词对集合或语料库中的文档的重要程度。 它经常被用作搜索信息检索，文本挖掘和用户建模的加权因子。tf-idf值按比例增加一个单词出现在文档中的次数，并
【NLP】TF-IDF算法原理及其实现
最新发布
CXY819394的博客
03-20 1471
TF-IDF(term frequency-inverse doument frequency,词频-逆向文档频率)是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对与一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比的增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF的主要思想。
NLP关键词权重算法总结Python实现（超级全，持续更）
ArYe
09-01 5887
词频 TFIDF 词在文中位置 文章总长度 词长 词跨度 词性 词与主题的关系 否定句 自然衰减权重 TextRank 内联权重 上下文特征向量 最尾补充一些失败实验
Python数据分析案例14——文本计算TF-IDF值和LDA主题模型
weixin_46277779的博客
12-30 7235
jieba库分词，TF-idf值计算，词向量化，LDA模型构建画出词云图
解密TF-IDF：打开文本分析的黑匣子
qq_51447436的博客
01-10 1681
解密TF-IDF：打开文本分析的黑匣子
《红楼梦》每一回都在说啥？ 三步骤教你用TF-IDF找到答案！
AI_dataloads的博客
09-27 146
TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的文本特征表示方法，用于评估一个词对于一个文档集合的重要性，它结合了词频（TF）和逆文档频率（IDF）的概念。简单来说：TF-IDF 可以帮助我们找到在一个文档集合中具有较高区分度和重要性的词汇。
用TF-IDF处理文本数据
一蓑烟雨任平生
01-11 879
Term Frequency (tf, 词频):给出语料库中每个文档中单词出现的频率。tfijnij∑knijtfij​∑k​nij​nij​​Inverse Data Frequency(idf, 逆数据频率)idfωlogNdftidfωlogdft​N​结合这两者，我们得出了语料库中文档中单词的TF-IDF分数(ω\omegaωtfij×logNdfitfij​×。
使用TF-IDF权重比较文档相似度代码示例
huhubbdd的博客
03-23 346
无
大数据分析-实验一 TF-IDF算法
SpriCoder的博客
02-20 1173
实验一 TF-IDF算法
python TF-IDF算法实现文本关键词提取
12-31
TF（Term Frequency）词频，在文章中出现次数最多的词，然而文章中出现次数较多的词并不一定就是关键词，比如常见的对文章本身并没有...TF-IDF算法的优点是简单快速，结果比较符合实际情况，但是单纯以“词频”衡量一个
C语言、Python实现TF-IDF算法
11-01
该资源属于代码类，用C语言和Python实现了TF-IDF算法，适用于文本分类等特征权重抽取
论文研究-文本分类TF-IDF算法的改进研究.pdf
09-11
针对特征项中的新词对分类结果的影响，提出基于网络新词改进文本分类TF-IDF算法。在文本预处理中识别新词，并在向量空间模型表示中改变特征权重计算公式。实验结果表明把新词发现加入文本预处理，可以达到特征降维的...
智能导医系统中TF-IDF权重改进算法研究.pdf
09-09
智能导医系统中TF-IDF权重改进算法研究.pdf
用python实现TF-IDF算法
10-22
包括将txt文件的每个字录入并计算出现次数和计算权重的函数，语料库是大约十万字的66篇论文，tfidf.py中是对文章向量化处理和计算夹角的函数，可以用于文章的分类和论文的查重，由于语料库很少，所以可能结果精度不...
文本分析系列——基于相似哈希信息指纹的文本相似度算法
做工程师的IT猫
10-12 2896
曾经使用这个算法进行文章查重的应用（日常排查100w篇左右），以下只是整个计算的原理和过程，计算的效率 更多是根据编程语言和架构决定，并不是本文关注的重点。 计算原理：         布隆过滤原理，不多解释，看百科吧：http://baike.baidu.com/link?url=nAPkTtMtrb8kI-ZSare68S3SJ-p4sMs28RYerkgDzs2-0IBC4aEvMxFJ
文本分析系列——基于词库的文本是非判断计算
做工程师的IT猫
09-29 849
分类是我们经常遇到的问题，而“是”与“否”是最简单的分类命题，对于人类来说分类不难，例如：这支笔是不是钢笔？但对于机器来说就没有那么简单，以下提到的文本的是非判断是我开发过的项目中所使用的计算方法，本质上来说是朴素贝叶斯分类计算，只是在这个的基础上做了改良，用于文本（新闻）是否属于某城市的判断，正确率80%左右； 简介         二分类是指所有的文本只存在两个分类的划分，例如“*
用python实现一个TF-IDF算法的改进算法：TF-IWF算法。要求输入输出明确；输入为jieba分词后的txt文档；输出词汇名称及权重；注释清晰
06-06
好的，这里是一个用Python实现的TF-IWF算法，满足输入输出明确、输入为jieba分词后的txt文档、输出词汇名称及权重、注释清晰的要求。 我们需要使用jieba分词库进行分词，需要先安装jieba库。 ```python !pip install jieba ``` 下面是实现代码： ```python import numpy as np import jieba from sklearn.feature_extraction.text import CountVectorizer class TFIWF: def __init__(self): self.vectorizer = CountVectorizer() self.vocab = None self.idf = None def fit_transform(self, documents): """ 对文档进行特征提取，计算TF-IWF值 :param documents: list，文档列表，已经用jieba进行分词 :return: tf_iwf: numpy.ndarray，TF-IWF特征矩阵 """ # 将文档转化为稀疏矩阵 count_matrix = self.vectorizer.fit_transform(documents) # 获取词表 self.vocab = self.vectorizer.get_feature_names() # 计算文档频率 df = np.array(np.sum(count_matrix > 0, axis=0))[0] # 计算逆文档频率 self.idf = np.log((len(documents) + 1) / (df + 1)) + 1 # 计算TF tf = np.array(count_matrix.todense()) tf = tf / np.sum(tf, axis=1, keepdims=True) # 计算TF-IWF tf_iwf = tf * self.idf return tf_iwf def get_feature_names(self): """ 获取特征名称列表 :return: list，特征名称列表 """ return self.vocab def get_feature_weights(self): """ 获取特征权重列表 :return: list，特征权重列表 """ return list(self.idf) ``` 使用示例： ```python # 创建TF-IWF对象 tf_iwf = TFIWF() # 读取文档 with open('test.txt', 'r', encoding='utf-8') as f: documents = f.readlines() # 对文档进行jieba分词 documents = [list(jieba.cut(doc.strip())) for doc in documents] # 特征提取并计算TF-IWF值 tf_iwf_matrix = tf_iwf.fit_transform(documents) # 获取特征名称列表和特征权重列表 feature_names = tf_iwf.get_feature_names() feature_weights = tf_iwf.get_feature_weights() # 输出特征名称及权重 for i, name in enumerate(feature_names): print(name, feature_weights[i]) ``` 其中，test.txt是需要特征提取的文档文件，需要在当前目录下存在。输出的特征名称及权重即为TF-IWF算法的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值