从句子结构和词向量出发,设计了基于特征融合的分段卷积神经网络文本情感分析模型,分段提取句子的主要特征,利用词性特征和词向量融合的方法,解决词向量无法区分同义词的问题。与传统文本卷积神经网络相比,用精确率、召回率和F1值作为评判指标。
普通的基于卷积神经网络的文本情感分析主要两个缺陷:词向量训练无法区分一词多义现象,文本词向量表示不准确,容易发生过拟合现象;从句子特征提取一个最大的值,没有进行多段分析,尤其是对于转折句,容易提取到转折前句子中情感词特征,从而进行误判。
主要工作:
(1)详细介绍各类传统情感分析方法的优势和不足。分析卷积神经网络在文本情感分析中的应用。
(2)将分词与词性特征结合起来,形成新的词向量,解决词向量无法区分同义词的问题。
(3)改进卷积神经网络,分段提取文本特征。
分词:常见的jieba.ictclas.盘古分词等。
停用词处理,没有实际意义的语气词。
词性标注:判定句子中每个词的词性并加以标注。
人工神经网络:卷积,循环(半监督学习可以解决大量样本只有少量标注的训练问题,对于减少标注代价和提升神经网络性能具有重要意义)
训练方法:误差逆传播算法,也是训练最成功的算法,广泛应用于深度学习领域。
情感词典:借助于情感词典、情感常识库等第三方情感资源,分析句子中有情感倾向的词语,得出句子情感倾向。英文词典比较成熟,中文词典一般是知网情感词典how net和台湾大学的简体中午情感词典NTUSD,HowNet使用最广泛。
机器学习:分词,去除停用词,词性标注,从处理过的文本中选择合适的特征是构建分类器的重点,特征加权区分特征重要程度,文本向量化。数据集训练分类器。
特征选择:卡方检验,期望交叉熵,互信息。
特征加权:布尔权重,频率,tf-idf
分类器:逻辑回归,支持向量机,k近邻,朴素贝叶斯。
商品评论属于网络短文本:语言简洁且不规范,字符数量差距大
卷积神经网络输入为矩阵形式:长度为n的句子,w={w1,w2,...,wn};词性标注p={p1,p2,..,pn},文本拼接:X={(w1,p1),(w2,p2),....,(wn,pn2)},利用word2vec将序列X表示为n*d矩阵,d为词向量维度。
word2vec将句子中每个词转化为词向量拼接为矩阵,一行对应一个词,cnn在文本中的特征提取只能从上往下。
传统cnn采用最大池化,未考虑句子结构特征句子情感倾向转折,影响句子情感分类。为捕获不同结构关键特征,采用分段池化。
卷积层输出卷积向量分成若干片段,每个片段是一个小卷积向量,对每个小卷积向量做最大池化,分别提取最大特征,将这些最大特征拼接为新的特征向量,传递给全连接层。
池化层对卷积层提取特征进行筛选,输出局部最优特征,进行非线性降维。合并特征。
本文将Ci平均分为t段,在每段中取最大值,将取出的最大值拼接为向量^c。
最后用全连接层判断特征类别。使用softmax分类器。
激活函数选用relu,解决梯度消失问题。问题:负半轴神经元得不到训练。
用dropout防止出现过拟合。神经元的缺失导致局部特征的减少,神经网络模型有更强的泛化能力。
中文酒店评论数据集ChnSentiCorp-Htl-ba-6000,正负向各3000条。
京东服装平台的10000条评论,正负各五千条。训练集:测试集=8:2
最优参数:
评估标准:P.R.F1
结果:
训练时间:cnn:7s,lstm:673秒,pcnn:29秒,pf-cnn:39s。
展望:人类情感复杂多样,如何对文本进行更复杂的情感分析;结合商品属性来分析情感倾向;结合注意力机制。
展望:人类情感复杂多样,如何对文本进行更复杂的情感分析;结合商品属性来分析情感倾向;结合注意力机制。