经典论文阅读笔记——BoW Model篇

一、文本表达的BoW模型

Bag of Words模型最初被用在NLP或IR中，将文档表示成特征矢量。该模型忽略掉文本的语法和语序， 用一组无序的单词(words)来表达一段文字或一个文档。简单说就是将文本看作一个装满了单词的袋子（模型名字的由来），根据袋子里装的是哪类型的词汇来将其分类，而不管这些单词出现在文本中的什么地方。

引用维基百科上的一个简单例子：

(1) John likes to watch movies. Mary likes movies too.

(2) John also likes to watch football games.

基于上面的句子，构建一个包含10个单词{"John", "likes", "to", "watch", "movies", "also", "football", "games", "Mary", "too"}的字典，则两个句子可以用以下向量来表达：

(1) [1, 2, 1, 1, 2, 0, 0, 0, 1, 1]

(2) [1, 1, 1, 1, 0,