1.情绪分析的一般实用技巧
分词
介绍了三种分词:
Whitespace tokenizer, 就是空格分词。
Treebank tokenizer, 斯坦福大学的树状分词。
Sentiment-aware tokenizer, 情感感知分词器,隔离表情符号,使用基础标记,在看起来有意义的地方保留大写... ...(A good start: nltk.tokenize.casual.TweetTokenizer)
比较:
词干化
The dangers of stemming:
词干会使不同的词形崩溃;
在情感背景下的三种常见词干算法:the Porter stemmer, the Lancaster stemmer, the WordNet stemmer;
Porter and Lancaster破坏了太多的情感差异;WordNet词干分析器几乎没有这么严重的问题,但通常它带来的价值不足以值得运行它所需的资源。