R文本挖掘之五情感分析

本文是转载！原文地址：CSDN-R语言做文本挖掘 Part5情感分析

Part5情感分析

这是这个系列里面最后一篇文章了，其实这里文本挖掘每一个部分单拎出来都是值得深究和仔细研究的，我还处于初级研究阶段，用R里面现成的算法，来实现自己的需求，当然还参考了众多网友的智慧结晶，所以也想把我的收获总结出来分享给大家，希望也能像我一样在看大家的分享时得到自己的启发。

网上翻了下中文文本情感分析的一些文章，再回想了一下我自己做情感分析的方法，觉得我的想法真的是简单粗暴直接。这是一篇介绍中文文本情感分析倾向的论文。http://wenku.baidu.com/link?url=TVf5LgNS6esnunpgubvM14z24m0f4lTyD483gw_hEnp2RyeL6XzanSlz8oCcZCFlwKLqD0PdBhVUcV4-0loTdGp3hL-kqeTTwJ3l91HfTa3，中间讲到做情感分析目前主要有三种方法。第一种由已有的电子词典或词语知识库扩展生成情感倾向词典；第二种，无监督机器学习的方法。第三种基于人工标注语料库的学习方法。

上面三种方法不仔细一一说明了，它们都有一个共同的特点，需要一个情感倾向的语料库。我在R中的实现方案与第一种方法类似，整理一个褒义词词库一个贬义词词库（这个万能的互联网上有自己稍加整理就OK）。给文本做分词，并提取出中间的情感词。给每条文本定情感倾向评分初始值为1，跟褒义贬义词词库做匹配，褒义词+1，贬义词-1，计算出每条文本的最终情感倾向评分，为正值则是正面评价，为负值则是负面评价。方法可以基本实现情感倾向判断，但还可以改进。像前面参考论文中讲到的，还可以根据词语的词性强弱来评定感情的强，不只是+1和-1之分；还有考虑一些词语在不同语境下情感倾向可能会不同，比如论文中讲到的“骄傲”，这个我在想可能需要整理出有这样特殊情况的词语；还有负负得正的情况，比如“不喜欢是不可能的事情！”，照我的评分标准它的结果就是负面评价了；反问的情况，“哪里便宜了？”，评出来结果变成了正。“便宜”这个词我把它放在褒义词表下，其实仔细考虑如果是说“便宜实惠”肯定是褒义，如果说“便宜没好货”，也会是褒义，这就不对了，还是第二个问题不同语境下情感倾向会不同。

R中的实现过程：

1.      数据输入处理

数据还是某品牌官微，取它微博中的1376条评论，情感褒义词库和贬义词库，将数据读入到R中。附词库下载地址：http://www.datatang.com/data/44317/，可能不是很全，需要自己整理丰富，我在看服装相关的文本时，发现有些词像“褪色”，“开线”，“显瘦”，“显胖”都没有在里面，这些就需要自己另外加进去。

[plain]  view plain  copy

 

1. hlzj.comment <- readLines("hlzj_commentTest.txt")  
2. negative <-readLines("D:\\R\\RWorkspace\\hlzjWorkfiles\\negative.txt")  
3. positive <-readLines("D:\\R\\RWorkspace\\hlzjWorkfiles\\positive.txt")  
4. length(hlzj.comment)  

[1] 1376

[plain]  view plain  copy

 

1. length(negative)  

[1] 4477

[plain]  view plain  copy

 

1. length(positive)  

[1] 5588

 

2.      对评论做分词处理并评级

过程类似Part2中讲到的分词处理。然后我自己写了个方法getEmotionalType()，将分词结果与negative表和positive表作对照计算得分。

[plain]  view plain  copy

 

1. commentTemp <- gsub("[0-9０１２３４５６７８９ < > ~]","",hlzj.comment)  
2. commentTemp <-segmentCN(commentTemp)  
3. commentTemp[1:2]  

[[1]]

[1] "恭喜""大家""又"   "没有" "找到" "俺" 

[[2]]

 [1] "没有" "私信" "給"   "我"   "小编" "把"   "我"   "给"   "漏"   "了" 

[plain]  view plain  copy

 

1. EmotionRank <-getEmotionalType(commentTemp,positive,negative)  

[1] 0.073

[1] 0.145

[1] 0.218

[1] 0.291

[1] 0.363

[1] 0.436

[1] 0.509

[1] 0.581

[1] 0.654

[1] 0.727

[1] 0.799

[1] 0.872

[1] 0.945

[plain]  view plain  copy

 

1. EmotionRank[1:10]  

 [1] 1 0 2 1 1 2 3 1 0 0

[plain]  view plain  copy

 

1. commentEmotionalRank <-list(rank=EmotionRank,comment=hlzj.comment)  
2. commentEmotionalRank <-as.data.frame(commentEmotionalRank)  
3. fix(commentEmotionalRank)  

[plain]  view plain  copy

 

1. getEmotionalType <- function(x,pwords,nwords){  
2.     emotionType <-numeric(0)  
3.     xLen <-length(x)  
4.     emotionType[1:xLen]<- 0  
5.     index <- 1  
6.     while(index <=xLen){  
7.         yLen <-length(x[[index]])  
8.         index2 <- 1  
9.         while(index2<= yLen){  
10.            if(length(pwords[pwords==x[[index]][index2]]) >= 1){  
11.                emotionType[index] <- emotionType[index] + 1  
12.             }else if(length(nwords[nwords==x[[index]][index2]]) >= 1){  
13.                emotionType[index] <- emotionType[index] - 1  
14.             }  
15.             index2<- index2 + 1  
16.         }  
17.         #获取进度  
18.        if(index%%100==0){  
19.         print(round(index/xLen,3))  
20.         }        
21.         index <-index +1  
22.     }  
23.     emotionType  
24. }  

查看到结果如下，第一个图里看着还挺正常的，第二个图好像是hlzj赞助的RM里出现了衣服被撕坏的时候的评论。没有黑他们家的意思，只是想找个例子来说明下差评的效果，好像不是很理想。那些反问的话无法识别判断，还有一些比较口语化的“醉了”，“太次”这样的词没有放到情感词库里，对这些评论的情感倾向识别效果不是很好。

像前面说的，方法有待改进，我的方法只是一个最基础的情感分析的实现方式，有任何问题欢迎指正。

转载请注明来源，谢谢！