5.1 词袋模型(Bag-of-Words,BOW)
5.1.1 基于频次的词袋模型
假设数据集为两个经过预处理且分好词的句子:
1.你/站在/桥上/看/风景/看/风景/的/人/在/楼上/看/你
2.明月/装饰/了/你/的/窗子/你/装饰/了/别人/的/梦
可得到对应长度为15的词典如下:
[里面包含15个词]
如此可以将两个句子向量化如下:
1.[2,1,1,3,2,1,1,1,1,0,0,0,0,0,0]
2.[2,0,0,0,0,2,0,0,0,1,2,2,1,1,1]
基于频次的词袋模型的优点是简单易用,原理清晰;缺点也很显而易见,没有考虑词序,词之间的联系以及文法,丢失了大量的重要信息。并且,因为存在许多的0,所以文本表示是一个非常稀疏的高维向量。
5.1.2 基于TF-IDF的词袋模型
5.1.3 相关工具的使用
gensim
sklearn