文本特征向量化

一、词袋模型

1. 词袋模型将所有的词构建成一个向量，不考虑顺序，只统计每篇文档钟词出现的次数，直接构建特征。

2. 词袋模型的问题：
   。。无法区分同义词、多义词：
   如： 用户浏览羽绒服后，只召回羽绒服，无法召回相近含义的“棉衣”
   。。维度高
   计算缓慢、存储量大xin
   。。信息量小
   一个词能传达的信息有限，没有考虑词之间上下文信息，不可调节；这个和N-gram相比，有很大缺陷
   。。不稳定
   受表达方式，习惯等影响，每个人都不一样

二、TF-IDF

相比与传统得词袋模型，将全局信息加入重要性度量

三、N-gram

N-gram模型可以提高特征区分度，但是会带来稀疏性