斯坦福NLU笔记之情感分析

1.情绪分析的一般实用技巧

分词

介绍了三种分词：

Whitespace tokenizer, 就是空格分词。

Treebank tokenizer, 斯坦福大学的树状分词。

Sentiment-aware tokenizer, 情感感知分词器，隔离表情符号，使用基础标记，在看起来有意义的地方保留大写... ...（A good start: nltk.tokenize.casual.TweetTokenizer）

比较：

 

 

词干化

The dangers of stemming:

词干会使不同的词形崩溃；

在情感背景下的三种常见词干算法：the Porter stemmer, the Lancaster stemmer, the WordNet stemmer；

Porter and Lancaster破坏了太多的情感差异；WordNet词干分析器几乎没有这么严重的问题，但通常它带来的价值不足以值得运行它所需的资源。