自然语言处理技术

应用场景：
•语音识别
•词性tagging，一个词在不同的语境中的词性
•命名实体识别
•情感分析
•文本生成

文本文档的数值表达：
1.独热编码
2.the integer-encoding is arbitrary
对训练无意义（不常用）
3.word embedding是有效的密集表示方式，此时相似的词其word embedding也相似。

numeric representation of text documents
bag of words
文档里面的词通过分词（包括去停用词），然后tokenize。词语去重，得到了vocabulary，vocabulary根据词频排序放在词袋中。
token：对特征词循环，若词出现在句子里面，就记句子对应的词在词频列表中的位置为1.

tokenization（词语切分、文档切句）
lexicon 词语规范化将单词的不同形式归一化为一个词根（同一个词的…ed,…ing归一）

lemmatization 任何形式的语言词汇还原为一般形式（good，better，best，都还原为good，主要用于英文文本处理）

spaCy：python开源库。将文本标记化为’doc’对象。
tokens=nlp(text)，可以得到text，tag_，pos_等属性。
nltk：python开源库，词性标记和分词性能较好。