词袋模型和TF-IDF流程

词袋模型

（Bag-of-Words Model）是一种用于表示文本的简单但常用的方法。它将文本看作是无序的词语集合，并忽略了词语的顺序和语法，只关注每个词语的出现频率。在词袋模型中，文本被表示为一个向量，其中每个维度对应一个词语，而向量中的每个元素表示对应词语在文本中出现的次数。

下图有误，一般词袋模型指的就是以词频作为特征基础

词袋模型的基本思想如下：

1. 预处理：首先对文本进行预处理，包括分词、去除停用词、转换为小写等步骤。

2. 构建词表：将所有文本中出现的词语收集起来构建一个词表，每个词语对应一个唯一的索引（维度）。

3. 向量化：对于每个文本，根据词表的索引，统计每个词语在文本中出现的频率（或其他权重），形成一个向量表示文本。

4. 归一化：可选步骤，对文本向量进行归一化，使其拥有相同的长度，方便后续处理。

词袋模型的优点是简单易实现，可以适用于很多文本处理任务，例如文本分类、情感分析、信息检索等。然而，它忽略了词语的顺序和语法信息，因此在一些情况下可能会损失一些文本的语义信息。此外，词袋模型会产生高维稀疏的向量表示，特别是当文本非常长或词表非常大时，会导致计算和存储开销较大。

为了克服词袋模型的一些限制，还有其他更复杂的文本表示方法，如词嵌入（Word Embedding）模型，它可以更好地捕捉词语之间的语义和上下文关系。

TF-IDF

将词袋模型中的词频换为TF*IDF即可