文本的表示技术 | （1）词袋模型

5.1 词袋模型（Bag-of-Words，BOW）

5.1.1 基于频次的词袋模型

假设数据集为两个经过预处理且分好词的句子：

1.你/站在/桥上/看/风景/看/风景/的/人/在/楼上/看/你

2.明月/装饰/了/你/的/窗子/你/装饰/了/别人/的/梦

可得到对应长度为15的词典如下：

[里面包含15个词]

如此可以将两个句子向量化如下：

1.[2,1,1,3,2,1,1,1,1,0,0,0,0,0,0]

2.[2,0,0,0,0,2,0,0,0,1,2,2,1,1,1]

基于频次的词袋模型的优点是简单易用，原理清晰；缺点也很显而易见，没有考虑词序，词之间的联系以及文法，丢失了大量的重要信息。并且，因为存在许多的0，所以文本表示是一个非常稀疏的高维向量。

 

5.1.2 基于TF-IDF的词袋模型

5.1.3 相关工具的使用

gensim

sklearn