亦菲喊你来学机器学习（18） --TF-IDF方法

TF-IDF

TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文档频率）是一种用于信息检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

比如我们常用的百度软件，是如何做到输入搜索词就可以在数不清的文档中取出我们需要的呢？就是因为，他对每一篇文章都计算了文章内容单词的TF-IDF值，找出哪些词对文章是重要的，可以作为搜索词，定位到文章。

词频TF

TF（Term Frequency，词频），词频是指某个词在文档中出现的次数。对于某一特定文件里的词语t来说，它的重要性可以简单地通过它在该文件中出现的次数来衡量。但是，这种简单的统计方法有两个问题：

1. 它没有考虑到文件长度。较长的文件可能会包含更多的词，因此单纯的词频统计会使得长文件中的词看起来更重要。
2. 它没有考虑到词的重要性与它在语料库中出现的频率成反比这一事实。一些常用的词（如“的”，“是”，“在”等）可能在很多文档中频繁出现，但它们对文档的主题可能没有太大贡献。

逆文档频率IDF

IDF（Inverse Document Frequency，逆文档频率），逆文档频率是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。如果包含词条t的文档越少，IDF越大，则说明词条具有很好的类别区分能力。

计算TF-IDF值

应用

TF-IDF在文本挖掘和信息检索领域有着广泛的应用。例如，在搜索引擎中，搜索引擎可以根据用户输入的查询词，计算每个网页中这些查询词的TF-IDF值，然后根据这些值对网页进行排序，将最相关的网页排在前面。此外，TF-IDF还可以用于文本分类、文本聚类、关键词提取等任务中。

实验使用TF-IDF

目标：计算给予数据中，每篇文章名字中适合搜索的单词。

1. 收集数据

链接: 实验数据
提取码: 9unj

2. 数据预处理

读取文本内容：

inFile = open('task2_1.txt','r')
corpus = inFile.readlines()     #读取所有行数据，存在列表中

3. 构建TF-IDF模型对象

from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer()  #构建TF-IDF模型对象
tfidf = vectorizer.fit_transform(corpus)    #fit_transform()拟合并调整数据的分布或范围
print(tfidf)
----------------
  (0, 1)	0.4489258246711445
  (0, 3)	0.620513986496383
  (0, 10)	0.3876833588747892
  (0, 5)	0.3876833588747892
	………………		…………

注意：拟合完之后会有一串数据（tfidf），其中列如"(0, 1) 0.4489258246711445"表示，在第1篇中，第2个词的TF-IDF值。但是！！值得注意的是，这里的第2个词并不是指在那篇文章中的第2个单词，而是在文本中所有单词中的第2个。那么，我们怎么知道文本中有多少词呢？

我们看看下一行get_feature_names_out()方法:

# get_feature_names_out()方法：获取特征名称，所有的单词
# 上述所说的第几个词，表示在这里面的索引获取的值
wordlist = vectorizer.get_feature_names_out()
print(wordlist)
--------------------
['and' 'document' 'final' 'first' 'has' 'is' 'line' 'one' 'second'
 'several' 'the' 'third' 'this' 'words']

4. 转化稀疏矩阵

由于获得的tfidf数据观察起来有些困难，所以将其转化为稀疏矩阵（以wordlist为索引）：

df = pd.DataFrame(tfidf.T.todense(),index=wordlist)

得到每篇文章，对应每个单词的TF-IDF值，没有该单词的为0。

5. 排序取值

步骤：获取矩阵中的每一列 —> 将每一篇的对所有单词的TF-IDF值给取出存入字典中 —> sorted方法排序（以TF-IDF值为基准）

for i in range(0,6):
    # 获取矩阵中的每一列
    featyrelist = df.iloc[:,i].to_list()

    # 将每一篇的对所有单词的TF-IDF值给取出存入字典中
    resdict = {}
    for j in range(0,len(wordlist)):
        resdict[wordlist[j]] = featyrelist[j]   #给字典创建键值对内容

    # resdict.items()获取字典中键值对所有内容，返回的是元组
    # key：以key为基准排序，lambda x: x[1]表示取返回元组中的第二个值，即TF-IDF值
    # reverse：排序方式，True表示降序
    resdict = sorted(resdict.items(),key=lambda x: x[1],reverse=True)
    print(resdict)

输出显示：

[('first', 0.620513986496383), ('document', 0.4489258246711445), ('is', 0.3876833588747892), ('the', 0.3876833588747892), ('this', 0.3359035918367382), ('and', 0.0), ('final', 0.0), ('has', 0.0), ('line', 0.0), ('one', 0.0), ('second', 0.0), ('several', 0.0), ('third', 0.0), ('words', 0.0)]
[('document', 0.670678043970947), ('second', 0.5652488019730092), ('is', 0.28959206902465257), ('the', 0.28959206902465257), ('this', 0.25091357141339277), ('and', 0.0), ('final', 0.0), ('first', 0.0), ('has', 0.0), ('line', 0.0), ('one', 0.0), ('several', 0.0), ('third', 0.0), ('words', 0.0)]
[('and', 0.5183362513321061), ('one', 0.5183362513321061), ('third', 0.5183362513321061), ('is', 0.2655575154689396), ('the', 0.2655575154689396), ('this', 0.23008912103979834), ('document', 0.0), ('final', 0.0), ('first', 0.0), ('has', 0.0), ('line', 0.0), ('second', 0.0), ('several', 0.0), ('words', 0.0)]
………………多余不展示

这样我们就知道了每篇文章对应每个单词的权重大小。

完整代码展示

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd

inFile = open('task2_1.txt','r')
corpus = inFile.readlines()     #读取所有行数据，存在列表中

vectorizer = TfidfVectorizer()  #构建TF-IDF模型对象
tfidf = vectorizer.fit_transform(corpus)    #fit_transform()拟合并调整数据的分布或范围
# 拟合完之后会有一串数据，表示，在第几篇中，第几个词的TF-IDF值
# 但是！！值得注意的是，这里的第几个词并不是指在那篇文章中的第几个，而是在文本中所有单词中的第几个
# 那么，我们怎么知道文本中有多少词呢？我们看看下一行get_feature_names_out()方法
print(tfidf)

# get_feature_names_out()方法：获取特征名称，所有的单词
# 上述所说的第几个词，表示在这里面的索引获取的值
wordlist = vectorizer.get_feature_names_out()
print(wordlist)

# 由于获得的tfidf数据观察起来有些困难，所以将其转化为稀疏矩阵（以wordlist为索引）
df = pd.DataFrame(tfidf.T.todense(),index=wordlist)
# print(df)

words = []
for i in range(0,6):
    # 获取矩阵中的每一列
    featyrelist = df.iloc[:,i].to_list()

    # 将每一篇的对所有单词的TF-IDF值给取出存入字典中
    resdict = {}
    for j in range(0,len(wordlist)):
        resdict[wordlist[j]] = featyrelist[j]   #给字典创建键值对内容

    # resdict.items()获取字典中键值对所有内容，返回的是元组
    # key：以key为基准排序，lambda x: x[1]表示取返回元组中的第二个值，即TF-IDF值
    # reverse：排序方式，True表示降序
    resdict = sorted(resdict.items(),key=lambda x: x[1],reverse=True)
    words.append(resdict[0][0])	#获取TF-IDF值最高的单词
    print(resdict)
print('每篇文章对应的搜索单词为：',words)

jieba分词

但是，注意咯，我们实验使用的数据是英文的，它本身每个单词之间就已经被空格分开了。那假如我们要处理中文文章呢？所有单词都在一句话中连在一起，我们怎么得到每个单词呢？更别提得到每个单词的TF-IDF值了。

所以在这里，我们需要实验jieba库方法，对中文进行分词，库本身包含了中文大部分词海，他会判断哪些字比较适合合在一起作为一个单词，进行划分，从而起到分词作用。该方法我们下期介绍并尝试实验使用它！

总结

本篇介绍了：

1. 什么是TF-IDF值？它有什么作用？
2. 如何计算TF-IDF值
3. 使用TF-IDF对象得到文章单词权重
4. 下期介绍，使用jieba库进行中文分词