文本预处理

文本预处理的工作

1 原始文本数据的获取

一般是从网站上爬取需要的数据内容，这里处理的文本主要是英文的文本。获得的数据的形式为：一个文档占据一行。

2 Tokenize（令牌化）

由于原始的文本是一个文档占据一行，没法对单个词进行统计分析，所有要将单词全部分开，包括将标点符号也要分开。

3 stemming&lemma（词干化及词型还原）

在英文中，同一个单词会因为时态、语态的不同而出现不同的表现形式，如：go，goes，going，went。但是这些单词都是表示同一个意思”go”，所以，要将这些表示时态、语态的后缀去除。在去除之后，将单词还原成表达单词最基本意思的词（lemma）

4 去除stopwords

stopword是停用词的意思，也就是这些词语并没有实际的意义，但是它们的存在又会影响文本的语义分析，因此这些词语也是要去除的。同时，也将所有的标点符号也一并去除。

5 处理好的文本

经过上面四个步骤最后会得到能够输入文本模型中的干净的语料。

之后会将python处理代码补上。