情感分类《Thumbs Up or Thumbs Down Semantic Orientation Applied to Unsupervised Classification ofReviews》

Motivation:

在淘宝上买东西时往往会看一下其他人的发布的评价，一条一条看可能很浪费时间。因此本文旨在实现一个自动对评价信息进行分类的算法。

 

当前研究：

以往预测语义指向都是使用句子中出现的形容词，没有考虑副词或短语的情况（Hztzicassiliglou et al 1997）。或者需要人工手段判断形容词是积极词汇还是消极词汇。有的仅仅给出文档的主题信息，没有挖掘文章的方向（例如积极或者消极）。

 

算法实现步骤：

1. 输入一个句子，使用词性标签对句子中包含形容词或副词的短语进行标注；
2. 使用PMI-IR算法对上面抽取出来的每个短语计算其语义指向（SO）；
3. 计算一个句子所有SO的平均值.若SO>0，则recommended；否则not recommended。

 

PMI-IR算法：

PMI-IR(Pointwise Mutual Information and Information Retrival)算法字面的意思是通过信息检索的手段计算两个单词或短语之间的相似度（PMI），公式如下：

p(word1&word2)是word1和word2同时出现的可能性。若word1和word2独立，则p(word1&word2)=p(word1)*p(word2)，因此PMI表示的是两个单词之间的关联度。

对于一个抽取出的短语，其语义指向OS计算如下：

也就是一个短语和单词“excellent”的PMI减去这个短语和“poor”的PMI，得到这个短语和哪个词的关联度更大。若S0>0，则是正向的，否则是反向的。

联立上面两个式子，可得：

这里hits(x)表示利用搜索引擎检索文档时包含x的数量，“NEAR”代替了上面的“&”是因为NEAR能更好的表示单词之间的语义相连性Turney,2001）。

 

实验结果：

 

启发:

导致电影识别率低的一个原因是一般好的电影可能会包含一些消极的词汇（暴力、死亡）。因此事先知道电影的题材可能有助于提高识别精度，例如将计算的结果和电影简介进行对比。