本文介绍一下在做微博特定话题情感分析中的做法,核心就是判断文本的情感极性,再根据这个极性来进行情感判定。
主要经过了以下几个步骤:
- 文本预处理
- 去乱码、去网络词
- 利用LTP获取分词、句子结构及成分等信息
- 情感信息提取
- 在同义词词林里面找单词编码
- 情感极性判断
- 在情感基准库里面寻找单词极性
- 用VSI 进行调整
- 用VBS分析主题词极性
- 计算句子极性
下面就按照这三部分分别介绍:
文本预处理
文本预处理中主要用了语言技术平台(Language Technology Platform,LTP),它是哈工大社会计算与信息检索研究中心历时十年研制的一整套开放中文自然语言处理系统。 LTP制定了基于XML的语言处理结果表示,并在此基础上提供了一整套自底向上的丰富、高效、高精度的中文自然语言处理模块。主要包含以下9个模块:
- 分句
- 分词:分词是基于字的序列标注问题,对于输入句子的字序列,模型给句子的每个字标注一个标识词边界的标记。
- 词性标注(Part-of-speech, POS):词性标注是给每个词一个词性类别(名词、动词、形容词等)的任务。
- 命名实体识别(Named Entity Recognition, NER):是在句子的词序列中定位并识别人名