关于自然语言的实体抽取和舆情分析技术

原创 2017年06月05日 14:08:02

【作者:吴斌,原文创作于2016-08-11,如今仍有较高参考价值,但不排除部分信息需要更新。文中有很多引用,不一一列举出处了。】

 

     关于自然语言的实体提取,在自然语言处理的应用里面,是非常实用的技术。在实际项目中,粗略地讲,我认为有3种情况:1,规则明显,精度要求高,适合用规则模板做,比如:会议航班等日程识别提醒,地址识别。2,规则不明显,但是基本可以找到规律,适合用统计模型(CRF,HMM等)做,比如:人名识别,情感词情感对象识别。3,除了标点符号,找不到规则,那就用词典+规则做吧,比如:电影名,歌曲名识别。 所以,什么情况下的自然语言实体提取,使用什么样的技术,这也是需要仔细思考的问题,很难一概而论,哪个技术好。

    1,3不用多说了,这里说一下2。目前最好用的实体抽取模型是CRF(条件随机场),具体应用中超过其他模型(如:HMM隐马尔科夫模型,不过HMM的运行效率高),而且超过深度学习的RNN模型,CRF主要优点是,它的核心其实是一种判别式的分类模型,同时考虑上下文关系的转移概率(分析上下文关系目前可用的只有线性马尔可夫链,更复杂的关系目前难以实用,所以条件随机场在实用中是简化版模型。),它可以使用很多特征来训练模型,而人工设计的特征在实体提取任务中,至关重要,特别是字典特征(比如中文名的百家姓词典,情感词词典),在模型中有着非常重要的作用。而使用RNN模型,单纯靠大量的标注数量来做模型训练的话,准确率上并没有优势,只是在召回率上有优势,而实际应用中,更看重准确率。细节可以看这个论文:http://anthology.aclweb.org/D/D14/D14-1080.pdf

   舆情分析 或情感分析, 在自然语言处理领域是个主要的应用方向, 常见的情况是为某个公司或某个产品,根据舆情数据,分析出消费者的情感倾向,比如:根据商品评论数据,分析用户情感的倾向,正,负,中性。或者根据更大范围的数据,比如微博,搜索引擎的数据,来分析用户对产品的口碑,比如,百度就提供了"百度舆情"功能:http://yuqing.baidu.com/zhengwu 。这是个典型的分类问题,可以用统计模型做,也可以用规则+词典做。

     但是,通常的舆情分析, 分类的粒度非常粗,只有指定的好、中、差几个类别,使用者获得的信息量其实是非常少的。一个产品的舆情评价是好或坏,使用者更想知道的是为什么好,为什么坏。而情感词,情感对象的自动提取,就可以很大程度上回答这个问题,比如自动提取这样的评论西信息:手机拍黑白照片效果: 很不错,手机的续航能力: 有待提高。(冒号前面的是情感对象,后面的是情感词。)  这样具体的正负观点,才是使用者真正想看到的信息,这些信息才有助于分析具体的产品问题和优缺点。

    我在做电影评论的情感词和情感对象识别任务中,使用的CRF库是Mallet,这是JAVA的CRF库首选,而且开发者,就是CRF模型的发明者之一Andrew McCallum。这个库包含分类,CRF等很多功能,使用起来有一点门槛,细节可以查看其主页:http://mallet.cs.umass.edu/ ,我使用的是豆瓣点评的电影短评数据。电影评论中的情感词和情感对象抽取的例子:  剧情:不走心导演和编剧:实在是太渣;  丹尼尔的演出:中规中矩。更多例子见附件。

   数据标注对所有统计学习的有监督学习算法都是非常重要的事情,而且,实体提取比其他任务的标注难度更大一些,因为判断实体数据本身就是比较复杂的事情。我的标注方法是自创的TCO(TargetCommentOther)标注法。标注对信息抽取非常重要,因为标注的方法决定了特征选取的方法,常见已有的标注法师BIO或IOE,其中“B”指标注实体开始字符,“I”指标注实体中间字符,“E”指标注实体结束字符,“O”指其他字符。比如,如果自动识别姓名通常使用BIO标注法,重点是标注名称的首字符,因为,“姓”可以从百家姓中识别。如果自动识别地名,公司名,一般用IOE标注法,重点识别尾字符,因为”路,街,道“,”公司“是重要特征。而我要识别的是个评论短语,最重要的是评论对象和情感词,而这些内容很多都不在首字符或尾字符,所以,我自创的TCO标注法,可以重点标注评论对象(Target),评论情感词(Comment,可以带正负向,比如Comment+,Comment-),标注举例:“这车开得像飞”标注为“OTTTCC”。同时,可以使用情感词词典之类的特征来训练模型,实践证明,词典特征对CRF的识别准确率提高有非常大的帮助。

     如果按照每个字的label判断准确率统计是比较低的,如果按照整个情感对象+情感词一起来判断实体提取准确率,初步统计是区分情感倾向是87.3%,不区分情感倾向是93.2%召回率低一些。   下面详细记录一些数据标注的经验:

    首先,自然语言处理对于的情感表达,应该选择选择什么粒度?一般来说,篇章,段落级别会包含多个情感,不合适。词组级别,因为不好断句也不好操作。最合适的粒度是句子级别,以逗号,句号,感叹号,问号等分割,以每个句子为单位分析用户情感和情感对象比较合适。实际情况,有的情感表达会跨两个句子,但是这种情况实际上很少。

大多数时候,正负向的情感是容易辨认的,比如:剧情很好,喜欢这个主角,台词太烂,笑点没意思,等等。但是也有不少的情况,人也难以判断情感,对于NLP来说,下面这几个句子都是各有各的判断难点。

比如:“虽然没有绝美之城那般惊艳。”,是个比较句,是情感判断的难点,而且,“没有”与“惊艳”有正负情感抵消的意思,“虽然”,“那般”又有些许赞扬的意思,我的意见是做中性情感处理。

“形式感太强。”是反义句,“强”通常是正向情感词,这里却有反义的意思,“形式感”有一些的负面情感,但是需要仔细琢磨。我的意见是整句都是负面情感词。

“音乐无疑是影片的灵魂。”是比喻句,“灵魂”是个比喻,比喻是NLP最难处理的问题,我认为算作正面情感表达。这里“是灵魂”是正向情感词,“音乐”是情感对象词。

“我以为我再不会被清新细腻的爱情戏码打动了呢。”包含否定句,但是最后有个“呢”,前面有个“以为”,又变成了自问自答,变成了肯定句,而且句子中正负情感词“不会”,“清新细腻”,“打动”相互交织,判断难度也很大,我认为作为正面情感判断。

“比绝美之城直白好懂。”也是个比较句,通常“直白好懂”标注为正向情感,“比绝美之城”是情感对象,但是省略的主语。

XXX贩卖一个巨大的无聊”这句话的情感不难判断,但是句子中有很多修饰词,“XXX”“贩卖”,“巨大的”都是修饰同一个词“无聊”,这对标注和识别是干扰,这种情况是比较常见的。我的意见是,标注时,必要的修饰保留(去掉后就改变意思或不完整了),无用的修饰去掉,上面可以仅标注“巨大的无聊”。

另外几个例子,自然语言中,一句话有时候会嵌套几层情感表达,此时对于情感识别也会面临难题,识别哪一层的情感?如果每层分解来识别,这会太复杂,我的意见是只识别最外面一层的情感。比如:“但看完之后还是被导演的一些天才表达折服。”  外层情感是:“被导演的一些天才表达:折服”。内层情感是:“表达:天才”。“精雕细作(到有点做作)的美感像行走真空般不实。”,外层情感是:“美感像行走真空般不实:精雕细作(到有点做作)”。内层情感是:“美感:像行走真空般不实”。这几个例子我认为取外层表达即可,因为外层表达可以抽取出比较详细具体的情感对象。

对于情感词和情感对象的抽取,不同于情感分类,必须区分哪个是情感词,哪个是情感对象。我使用的是CRF模型来做情感词和情感对象的抽取,效果还可以。但也有一些困难,CRF是判别式模型,数据标注的质量和数据标注的标准是很重要的,对于每个label(其实就是每个类别),都要有清晰的定界标准。但是有些词语是很难定界的,比如:“创意超级棒。”“这个片子的结尾很有创意。”“有创意的片子”,这里的“创意”是情感词,还是情感对象,较难区分,我的意见是按词性标注,第一个“创意”是名词都做情感对象标注,后两个“有创意”是形容词做情感词标注。另外,有时候“恐怖”是负向情感,比如:“这个角色丑的恐怖。”,有时候“恐怖”是正向情感,比如说的是恐怖片:“看结尾觉得真挺恐怖的。”这种情况只有看“恐怖”前后的搭配词和情感对象来判断了。还有,比较句,对于情感词和情感对象的提取是比较困难的,比如:“失孤比这部片好很多。”这句虽然有“好”字,但是全句情感却是负面情感,而且,情感对象难以把握,我的意见是:“失孤”作为情感对象,“比这部片好很多”做负面情感词标注。还有一些比较难标注的数据,需要逐个分析,比如:“喜欢林中小屋那一类的应该觉得对胃口”,这里其实没有明确指明电影中的对象,而且隐含的比喻,“林中小屋那一类的”,同时情感词也不是针对电影,而是针对喜欢此类电影的人,所以这里的Target主体不好标注,勉强可以把“喜欢林中小屋哪一类的”标为Target,把“应该觉得对胃口”标为Comment+。同时,Target里面有“喜欢”这个关键词,一般是在情感词词典里才出现的,放在Target里面也容易出问题,但是这也是无奈的地方。另一句,“要不是这两位演技还是不错真是看不下去”,这里面有正负两个情感,相对而言,我认为正面情感突出一些,即“这两位演技”标为Target,“还是不错”标为Comment+。对于“真是看不下去”,本来应该标Comment-的,但是句子里面缺乏主题对象,标了负向情感,对于抽取来说,就不好理解了,可以忽略此处,标为other

 

微博舆情 之 自然语言处理

这篇主要讲一下如何将微博转化成一个个特征向量。
  • Claire_Bear7
  • Claire_Bear7
  • 2015年06月23日 20:45
  • 1488

spark中自然语言处理的一些方法

spark中常用的一些自然语言处理方法,分词、tf-idf、word2vec、文本分类等看看代码吧: package com.iclick.word2vec import org.apache.lo...
  • luoyexuge
  • luoyexuge
  • 2016年06月27日 12:22
  • 2944

斯坦福大学自然语言处理第七课“情感分析(Sentiment Analysis)”

本文转载自:http://52opencourse.com/235/%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E8%87%AA%E7%84%B6%E8...
  • chivalrousli
  • chivalrousli
  • 2016年05月08日 21:48
  • 4505

自然语言分析之命名实体识别_Stanford Named Entity Recognizer (NER)简单实例

转自:http://limisky.0fees.net/?p=48
  • u014330807
  • u014330807
  • 2014年06月27日 16:27
  • 1288

【年度技术观点合集】计算机视觉,自然语言,机器学习…看看顶级科学家们怎么说

“最深奥的技术是哪些我们感觉不到存在的技术,这些技术自如地融入我们日常生活,不知不觉地成为生活的一部分。”——马克·魏瑟 1956年夏天,明斯基、罗切斯特、申农等一群年轻人进行了一次聚会,Art...
  • GarfieldEr007
  • GarfieldEr007
  • 2016年06月05日 14:24
  • 651

RDF自然语言查询技术

由于SPARQL语言的复杂性,只有专业的人员才能利用它来检索需要的数据。对于大部分人来说,我们希望的,还是能够利用自然语言来完成我们的查询。利用自然语言查询RDF数据的基本方式可以被分为两种:第一种是...
  • qiuhui19941118
  • qiuhui19941118
  • 2017年01月25日 15:30
  • 857

【行业聚焦】畅捷通用自然语言技术颠覆企业应用人机交互模式!

2016年7月30日,由崔牛会主办的主题为“小技术·大场景”的2016中国企业互联网技术论坛圆满落幕。活动现场20多位顶级技术专家,近千名行业技术大咖一起交流学习,商讨技术对未来商业模式的影响 ,...
  • qq_35414313
  • qq_35414313
  • 2016年08月02日 09:03
  • 266

自然语言句法分析

  • 2018年01月04日 10:41
  • 484KB
  • 下载

我的自然语言分析控件

  • 2015年08月16日 17:22
  • 2.83MB
  • 下载

python分析处理自然语言[经典](英文)

  • 2012年04月03日 12:36
  • 3.64MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于自然语言的实体抽取和舆情分析技术
举报原因:
原因补充:

(最多只允许输入30个字)