第二章：进行情感词词典扩展。
第三章：采用条件随机场模型和最大熵模型在产品属性抽取任务中进行比较分析；
第四章：产品属性跨领域移植的方法。
第二章：文本情感资源建设
扩展现有极性词典
常用的词语相似度计算方法：1、基于语料库统计的方法2、基于语义词典的方法3.基于网络资源。
1.基于词语相似度计算扩展词典
点互信息PMI：
x，y不相关时，PMI=0；
X，y极其相关时，PMI>0；
为了计算情感词的极性，要将候选词与强度为i的所有基准词进行极性相似度计算，得到总的互信息，其中极性强度规定为-3到3.分别与强度为i的所有基准词计算求和，结果最大的那个就是候选词的极性强度。
基准词数越多，效果越好。
2.基于本体库扩展情感资源
词语使用概念或者义项来描述。后者可以清楚的描述词语的各种属性。知识表示语言。
环太平洋：义项1：地理区域
义项2：2013年美国科幻电影
至于义原是什么，
什么是义原，跟什么是词一样的难以定义。但是也跟词一样并不因为它难于定义人们就无法把握和利用它们。大体上说，义原是最基本的、不易于再分割的意义的最小单位。例如：“人”虽然是一个非常复杂的概念，它可以是多种属性的集合体，但我们也可以把它看作为一个义原。........试以下面为例我们得到了9个义原但其中有两对是重复应予合并。
治：医治 管理 处罚 ……
处：处在 处罚 处理 ……
理：处理 整理 理睬 ……
更确切的说，义原描述了概念（义项）之间的关系，进一步可以描述词与词之间的关系
词语相似度定义为各个义项相似度最大值。
两个义项的相似度由第一独立义原、其他义原、关系义原和符号义原组成。b参数起到了加权的作用。B1~4求和=1.
Dis是S1，S2在语义树的路径长度。a是参数。
两个词之间的相似度就是这样算出来的。
显然，该公示表明候选词uk的极性为正极性与负极性词之间的差值。
3.使用网络资源扩展情感词典。
本文采用网络同义词来扩展情感词典。通过网络查询每个词的同义词反义词，得到对应极性。候选词有多个极性时，使用投票加权法决定词性。
融合：使用三种方法后极性相同者认为可信，两种方法极性相同者人工校验。
第三章：基于条件随机场的产品属性抽取技术。
机器学习模型：
1.最大熵模型：
最大熵原理：所选择的概率模型必须满足已有事实，而对未知事实不做任何主观假设。
最大熵主要思想就是掌握未知分布知识的前提下，应该选择符合这些知识但是熵最大的概率分布。（不确定性最大）。其实就是一个约束条件下求极值的问题。(条件极值)
2.条件随机场模型CRF：基于隐马尔科夫模型
马尔科夫模型：对于一个随机变量序列称为马尔科夫模型需要满足两个条件：历史有限性（Xt+1仅和Xt有关）、时间不变性（概率不随时间改变）。
比如掷骰子的结果就服从马尔科夫模型（如12342353512343216）
隐马尔科夫模型：在上述可见状态序列下，还有隐含状态序列
在这个例子里，这串隐含状态链就是你用的骰子的序列。比如，隐含状态链有可能是：D6 D8 D8 D6 D4 D8 D6 D6 D4 D8
作者说，马尔科夫模型的输出独立性假设是致命缺陷。就是说输出序列只与当前状态有关，而输出序列字符之间无关。这样的假设导致隐马尔科夫不能考虑上下文的特征，限制了特征的选择。
条件随机场模型：考虑了上下文特征（在隐马尔科夫模型基础上）
隐马尔科夫模型条件随机场模型
特征选取：词性特征、浅层句法特征、词特征、句特征、上下文特征。
思想：将训练集以句子为单位进行切分，进行中文词性标注工作，利用浅层句法分析识别句子中的名词性短语等组块，然后将识别的组块和词性标注都做CRF的特征来使用，把训练集表现为这些特征，然后在CRF模型中进行训练。
第四章：文本情感分析跨领域移植
本文提出的是基于主动学习的产品属性领域移植算法。
有监督学习方法。通过机器学习迭代的形式从候选样本中按照某种策略选择样本进行训练。
主动学习可以分为基于流和基于池。基于流就是对依次来到的每一个查询样例，判断是否需要交给oracle进行标注；基于池：增加了一个缓存功能。
本文使用的是基于不确定度的方法，主动学习器选择最不确定的那些样本提交给oracle进行标注。比如二元分类问题，只需要找到那些值为0.5的中间数据提交给oracle标注。
基于主动发学习的文本情感移植。
算法主要思想是给定源领域标注数据集L和目标领域未标注数据集U，用L训练一个产品属性标注器M，利用M对U进行标注，使用不确定度方法选择结果中的句子集S进行人工标注，将数据集L和S合并为L`，如此循环迭代到一个阈值。
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
