NLP-分词、词干化、n-gram

分词

在NLP中，需要将文本进行单词或词组的分割，以便于构建特征。例如，“i am a student”，可以分词为“i”，“am”，“a student”。由于英文的特点，每个单词都有空格，所以比较好分。但是像中文，只有句子与句子之间才有明显的分割，单词和词组之间无法直接分割，所以就需要一定的规则库对中文分词处理。

词干化

词干化就是将不同状态的单词进行简化处理，例如listened转化为listen，目的是减少词汇量，进而减少特征。这个是针对英文而言的，中文没有这方面的需要。

词袋

通过单词出现的频率来构建特征，例如

“i am li，i like zhang”，

“i am a student”，

汇总到一起的词汇表为“i，am，li，like，zhang，a，student”

词汇表一共是7个单词，所以根据单词出现的次数分别构建句子的向量为

“i am li，i like zhang” ---> [2, 1, 1, 1, 1, 0, 0]

“i am a student” ---> [1, 1, 0, 0, 0, 1, 1]