8、文本数据结构转换与应用

文本数据结构转换与应用

1. 构建基础TF-IDF向量化器

TF-IDF（词频 - 逆文档频率）是一种常用的文本特征提取方法，可将文本数据转换为数值向量，便于后续的机器学习和数据分析。以下是构建基础TF-IDF向量化器的步骤：
1. 实例化TF-IDF向量化器 ：

from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer()

2. 拟合数据并转换为TF-IDF向量 ：

tf_idf_matrix = vectorizer.fit_transform(preprocessed_corpus)

3. 查看结果 ：

print(vectorizer.get_feature_names())
print(tf_idf_matrix.toarray())
print("\nThe shape of the TF-IDF matrix is: ", tf_idf_matrix.shape)

示例输出如下：