NLP学习笔记十二-词袋模型

NLP学习笔记十二-词袋模型

词袋模型其实是一种很简单的统计模型，这个统计模型说法是博主自己定义的，也可能真的统计模型中含有词袋模型这一类，为什么说它是统计模型?因为词袋模型他呢是基于统计的，比如现在我们有两组组词，现在我们希望对这组词建立词袋模型。举例如下：

注：词袋模型本质上是一种数据转化模型，是为了将一些字符、图片等非数字信息转化为计算机可以识别的数字信息。
比如我们现在有两组组词语

1. I have learned machine learning well now .
2. I have learned python well now ，I am very glad.
   那么我们对上面的两组词建立词袋模型，我们该怎么做：
   （1)先统计有多少个不同的单词
   比如有下面这些不同的词语：
   I I have learned machine learning well now python am very glad
   那么我们最终的转化的向量长度就是不同词语的个数
   （2）对词组进行向量转化
   1->[1,1,1,1,1,1,1,0,0,0,0]
   2->[2,1,1,0,0,1,1,1,1,1,1]

然后这里要提到的是，词袋模型本质上就是统计一个词组单词的出现次数，在进行向量转化，词袋模型是比较简单的，它并不会考虑这些单词之间的内在联系，同时转化的过程中，原来单词之间的顺序也不会被考虑。