一、Bag-of-words model
Bag-of-words model是用于自然语言处理和信息检索中的一种简单的文档表示方法。通过这一模型,一篇文档可以通过统计所有word的数目来表示,这种方法不考虑语法和word出现的先后顺序。这一模型在文档分类里广为应用,通过统计each word的frequency来作为分类器的特征。
通过下面的例子来说明用这一model来表示文档的基本方法:
如下两篇简单的文本文档:
基于这两篇文档构建一个Dictionary如下:
易见这个字典由10个distinct word构成,将其作为indexes,我们可将两篇文档表示为如下的10-entry vector: