自然语言处理 ❉ TF-IDF（Term Frequency-Inverse Document Frequency）

TF-IDF（Term Frequency-Inverse Document Frequency）是一种用于信息检索和文本挖掘的常用加权技术。它反映了一个词对于一个文档集或一个语料库中的其中一份文档的重要性。TF-IDF由两部分组成：词频（TF，Term Frequency）和逆文档频率（IDF，Inverse Document Frequency）。

一、词频（TF）

词频是一个词在文档中出现的次数，它可以按词数归一化，以避免对长文档的偏好。例如，对于一个文档，如果一个词出现了5次，而文档总词数为100，那么该词的词频为0.05。

二、逆文档频率（IDF）

逆文档频率是一个词语普遍重要性的度量。它是通过将语料库中的文档总数除以包含该词语之文档的数目，然后将得到的商取对数得到的。这个比例越高，词语的IDF值越低，表示该词语在文档中越常见，在文档集合中的重要性越低。

三、TF-IDF计算公式

对于一个给定的词 t 和一个文档 d ，其TF-IDF值计算如下：

TF(t, d) = 词t在文档d中出现的次数 / 文档d中的总词数

IDF(t) = log（语料库中的文档总数 / 包含词t的文档数目）

TF-IDF(t, d) = TF(t, d) * IDF(t)

四、应用

TF-IDF通常用于以下几个方面：

• 文本挖掘：帮助识别文档中的重要词语。
• 搜索引擎：用于评估搜索查询中的每个词的重要性。
• 特征提取：在机器学习算法中，如分类或聚类任务，作为文本数据的特征向量。

五、注意事项

TF-IDF对常用词（如“的”、“和”等）赋予的权重较低，因为这些词在语料库中出现的频率较高，但对文档的主题贡献较小。

• 它不适用于评估短文本，因为短文本中词频的波动可能会很大。
• TF-IDF不考虑词语的语义和上下文关系，因此可能无法准确反映词义的细微差别。

六、Python应用

可以使用scikit-learn库中的TfidfVectorizer类来实现TF-IDF。以下是使用TfidfVectorizer的一个基本示例：

from sklearn.feature_extraction.text import TfidfVectorizer

# 示例文本数据
documents = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?',
]

# 初始化TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer()

# 使用文档数据训练TfidfVectorizer
X = tfidf_vectorizer.fit_transform(documents)

# 获取每个词的TF-IDF权重
feature_names = tfidf_vectorizer.get_feature_names_out()

# 打印每个文档的TF-IDF向量
print(X.toarray())

# 打印每个词的TF-IDF权重
for word in feature_names:
    print(f"{word}: {tfidf_vectorizer.idf_[word]}")

这段代码会输出每个文档的TF-IDF向量，以及每个词的IDF权重。

TfidfVectorizer的常用参数

• stop_words: 指定是否去除停用词，默认为None。可以设置为’english’, 'french’等，或者自定义停用词列表。
• lowercase: 是否将所有文本转换为小写，默认为True。
• max_df: 当词的文档频率超过这个比例时，该词会被忽略。默认为1.0，即不忽略任何词。
• min_df: 当一个词的文档频率低于这个比例时，该词会被忽略。默认为1，即文档中至少出现一次的词才会被考虑。
• max_features: 限制特征的最大数量。
• ngram_range: 使用的最大n-gram长度。例如，(1, 1)表示仅使用单个词，而(1, 2)表示使用单个词和二元词组。

使用TfidfVectorizer进行文本分类

在机器学习任务中，可以将TF-IDF向量作为模型的输入特征。以下是一个简单的示例，展示如何使用TF-IDF向量和逻辑回归分类器进行文本分类：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# 示例文本数据和标签
documents = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?',
]
labels = [0, 1, 2, 0]  # 假设0、1、2是三个不同的类别

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(documents, labels, test_size=0.25, random_state=42)

# 初始化TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer()

# 训练TF-IDF向量化器并转换训练集
X_train_tfidf = tfidf_vectorizer.fit_transform(X_train)

# 转换测试集
X_test_tfidf = tfidf_vectorizer.transform(X_test)

# 初始化逻辑回归分类器
clf = LogisticRegression()

# 训练模型
clf.fit(X_train_tfidf, y_train)

# 预测测试集
predicted = clf.predict(X_test_tfidf)

# 打印预测结果
print(predicted)

请注意，这个示例仅用于演示目的，实际应用中需要更多的数据和更复杂的模型来获得良好的分类效果。

TF-IDF是一种简单而强大的工具，但它也有局限性，因此在实际应用中可能需要与其他文本分析技术结合使用。