复习一下文本处理的一些基本概念。
词袋:Bag-of-words,基于单词数量统计的 最简单的文本特征表示方法。对于文本数据,词袋可以理解为单词数量的统计列表。
文本“it is a puppy and it is extremely cute”具有下图中的词袋表示。原始文本是一个单词序列,但词袋中没有任何序列,它只记录每个单词在文本中出现的次数。
n元词袋:(bag-of-n-grams)是词袋的一种自然扩展。n-gram(n 元词)是由 n 个标记 (token)组成的序列。n-gram 能够更多地保留文本中的初始序列结构。
1-gram 就是一个单词(word),又称为一元词(unigram)。经过 分词(tokenization)之后,计数机制会将单独标记转换为单词计数,或将有重叠的序列 作为 n-gram 进行计数。例如,句子“Emma knocked on the door”会生成 n-gram“Emma knocked”“knocked on”“on the”和“the door”。
tf-idf:在词袋方法基础上的一种简单扩展,它表示词频 - 逆文档频率。
bow(w, d) = 单词 w 在文档 d 中出现的次数
tf-idf(w, d) = bow(w, d) * N / ( 单词 w 出现在其中的文档数量 )<