（3-6）特征提取：词袋模型

3.6  词袋模型

词袋模型是一种常用的文本特征提取方法，用于将文本数据转换为数值表示。词袋模型的基本思想是将文本看作是由单词构成的“袋子”（即无序集合），然后统计每个单词在文本中出现的频次或使用其他权重方式来表示单词的重要性。这样，每个文本都可以用一个向量表示，其中向量的每个维度对应于一个单词，并记录了该单词在文本中的出现次数或权重。

3.6.1  实现词袋模型的步骤

词袋模型的基本原理非常简单，它主要涉及将文本文档转化为一个无序的词汇集合，并记录每个词汇在文档中的出现频率。下面是实现词袋模型的基本步骤：

（1）构建词汇表

首先，创建一个包含文本数据集中所有唯一词汇的词汇表。这个词汇表包括文本数据集中出现的所有单词，不重复，无顺序。

（2）编码文本

对于每个文本文档，将文档中的每个词汇映射到词汇表中的词汇。这通常涉及将文档分割为单词或词语（分词），然后对每个词汇进行处理。可以记录每个词汇在文档中的出现次数（词频，TF），或者使用更高级的方法，如TF-IDF（Term Frequency-Inverse Document Frequency）来衡量词汇的重要性。

（3）创建文档向量

每个文本文档都被表示为一个向量，其中向量的维度等于词汇表的大小。这个向量用于表示文档中每个词汇的出现情况。向量的每个元素对应于词汇表中的一个词汇，其值表示相应词汇在文档中的出现次数或其他相关信息（如TF或TF-IDF值）。

（4）忽略词汇顺序

词袋模型忽略了文档中词汇的语法和语义顺序，因此对于同一组词汇，无论它们出现的顺序如何，都会生成相同的文档向量。

（5）文本表示

最终，每个文本文档都被表示为一个词袋向量，其中包含了文档中词汇的出现信息。这些向量可以用于文本分类、聚类、信息检索等任务。