晴空猎鹰舆情监测系统利用基于自研优化后的bert预训练模型,在新闻及社会舆论评价情感分析任务上取得出彩的结果,情感识别指标达到f1>0.85,相对于传统bert,情感识别提升5个点以上。这里以8月11日社会舆论类新闻的网友评论做为示例,具体流程如下。
1. 情感分析-词库搭建
通过对大量中文文本及人物会话分析,发现文本情感的判定基本上通过对通篇的情感词、程度副词及否定词的统计分布来判别,因此,我们搭建了基于情感分析的情感词库以及其它辅助词表。如下图所示。
图1 词典集结构关系图
其中,正/负面情感词通过预先标注的新闻数据中通过统计获得,再人工过滤;程度副词权重(0.52)则通过多人打分,取平均的方式来预定义(0.52), 否定词权重统一定为-1.0;
2. 文本情感分析实现
情感倾向性将文本分为正面、负面、中性三种情感属性,通常由正、负面,以及强弱程度来衡量。本文通过中文分词处理,基于情感词典构建情感表,为每一个分词打分,从而判断判别情感倾向,文本情感分析的流程如下图所示。
图2 文本情感分析的流程图
3. 建立情感倾向性分析模型