任务2 TF-IDF理论与实践

理论

1.什么是TF-IDF?

TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词，而且算法简单高效，常被工业用于最开始的文本数据清洗。

TF-IDF有两层意思，一层是"词频"（Term Frequency，缩写为TF），另一层是"逆文档频率"（Inverse Document Frequency，缩写为IDF）。
在一份给定的文件里，词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。
逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍重要性的度量。

假如我们现在有一篇文章叫做《卷积神经网络模型的搭建》，我们对词汇的TF进行统计，可以统计出卷积、池化等词汇在里面出现的次数比较多，所以是里面的主要词汇，这些词汇有助于我们理解文章。但是这样会有停用词干扰，例如“的”，“了”等。这些词对于我们理解文章没什么用处，所以我们还需要引入IDF，通过观察这个词汇在其他文章出现的频率来看这个词是否对文章的处理很重要。

当有TF(词频)和IDF(逆文档频率)后，将这两个词相乘，就能得到一个词的TF-IDF的值。某个词在文章中的TF-IDF越大，那么一般而言这个词在这篇文章的重要性会越高，所以通过计算文章中各个词的TF-IDF，由大到小排序，排在最前面的几个词，就是该文章的关键词。

2.TF-IDF算法步骤

第一步，计算词频：

考虑到文章有长短之分，为了便于不同文章的比较，进行"词频"标准化。

第二步，计算逆文档频率：

这时，需要一个语料库（corpus），用来模拟语言的使用环境。

如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。log表示对得到的值取对数。

第三步，计算TF-IDF：

优缺点
TF-IDF的优点是简单快速，而且容易理解。
缺点是有时候用词频来衡量文章中的一个词的重要性不够全面，有时候重要的词出现的可能不够多，而且这种计算无法体现位置信息，无法体现词在上下文的重要性。如果要体现词的上下文结构，那么你可能需要使用word2vec算法来支持。

实践

因为sklearn有这个函数，我就直接调用，这个任务是接着上一个的，我就展示这个任务的代码

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
import pickle
vectorizer = TfidfVectorizer(ngram_range=(1, 2), min_df=3, max_df=0.9, sublinear_tf=True)#导入函数，并且定义好函数初始值
vectorizer.fit(train_set['word_seg'])
x_train = vectorizer.transform(train_set['word_seg'])
x_val = vectorizer.transform(val_set['word_seg'])

参考文献：
https://zhuanlan.zhihu.com/p/31197209
https://github.com/Heitao5200/DGB/blob/master/feature/feature_code/tfidf.py