第二届百度&西安交通大学大数据竞赛

原创 2016年08月31日 10:49:29

赛题描述:

http://openresearch.baidu.com/online/artical.do?method=activityItemDetail&activityID=26eb630e-5839-452d-ad71-bf023a8d6327&navIndex=2


解题思路:

需要识别的实体是主语或者宾语,而主语宾语左右两边的词都是有固定词性。这里没采用分词工具,就直接提取训练数据中核心实体两旁的文字。如:

        遵义会议旧址,主要指召开遵义会议的那座小楼。

         遵义会议旧址 右边是:   ,主

         为保证前后均有标签,向前补充特殊字符(补充几个,由提取长度而定)  ︽︽遵义会议旧址,主要指召开遵义会议的那座小楼。   则 左边是:  ︽︽

         对训练数据遍历,提取所有标签(如:︽︽, ,主)。并统计出现的总次数A,及正确匹配的次数T。标签优先级设定为:T/(A+N)(N由自己设定,防止在训练集中仅出现一次,且刚好正确的标签优先级过高)。

         1.遍历测试数据,按标签优先级顺序匹配文本,提取核心实体。

         2.按标签优先级顺序匹配上一步生成的核心实体,对核心实心进一步提取,排除部分标签优先级顺序错误,及核心实体两边多重标签的影响。

         3.对上一步识别的核心实体过滤,筛选出不包含停用词,不是情感词汇等条件的核心实体作为关键词。对上一步提取的核心实体遍历,如果包含关键词,则关键词作为该句的核心实体。降低所提取标签种类过少的影响。

         4.对上一步识别的核心实体遍历,对包含停用词等条件的核心实体用长度更小的标签匹配,修改核心实体。

         5.对上一步识别的核心实体过滤,筛选出包含停用词长度超过本身长度a%等条件的核心实体作为错误识别。放松条件,对错误识别的句子重新用标签匹配,生成核心实体。


源码:

https://github.com/3ZY/baidu_word_Recognizer

版权声明:本文为博主原创文章,未经博主允许不得转载。

2016年湖南省第十二届大学生计算机程序设计竞赛 解题报告

2016年湖南省第十二届大学生计算机程序设计竞赛 解题报告 csu Problem A: 2016 Problem B:有向无环图 Problem C:Three Capitals Problem D...
  • no_name233
  • no_name233
  • 2016年09月07日 19:44
  • 1422

第39届ACM国际大学生程序设计竞赛 亚洲区域赛(现场赛)西安站

第39届ACM国际大学生程序设计竞赛 亚洲区域赛(现场赛)西安站
  • Tc_To_Top
  • Tc_To_Top
  • 2014年10月31日 01:39
  • 3288

SWJTU OJ 西安交通大学第十三届ACM程序设计决赛-题解

A Knapsack Problem(线性时间复杂度 签到题) #include int main() { int T; scanf("%d", &T); while(T-- > 0) { ...
  • baisedeqingting
  • baisedeqingting
  • 2017年05月18日 15:26
  • 190

C++ MOOC 西安交通大学 中国大学生MOOC网 期末考试

C++MOOC 期末考试 西安交通大学 1. 行程编码(20分) 题目内容: 输入一段由英文字母组成的文字,将这段文字的前面一半逆序(当文字长度为奇数时,前一半的长度是stringlengt...
  • CooperNiu
  • CooperNiu
  • 2017年06月04日 10:34
  • 1188

我的求职历程总结-计算机类(西安交通大学学生)

上周终于把三方寄出去了,从去年9月开始找工作,现在终于算是告一段落。借着放假的机会,整理下自己找工作的历程,也算是一些心得体会。希望对下一届的找工作的同学有所帮助。也给一个月后的答辩攒RP吧。 本人软...
  • Challenge_C_PlusPlus
  • Challenge_C_PlusPlus
  • 2011年11月10日 12:47
  • 1456

西安交通大学数据结构讲义

  • 2007年06月23日 17:09
  • 3.01MB
  • 下载

天池大数据竞赛第一名,上海交通大学人工智能实验室如何用AI定位肺结节

癌症,犹如黑暗中的魔鬼,带给人们恐惧与绝望。而肺癌,在我国作为发病率、死亡率最高的一类癌症,伤害着无数家庭。在我国每年都有近60万人死于肺癌。然而,癌症的死亡率与首次发现癌症的时期紧密相关,早期肺结节...
  • Uwr44UOuQcNsUQb60zk2
  • Uwr44UOuQcNsUQb60zk2
  • 2017年10月24日 20:21
  • 1032

西安交通大学自控考研试卷

  • 2018年01月11日 21:30
  • 1.1MB
  • 下载

西安交通大学飞行控制系统作业二(含matlab程序)

  • 2016年06月24日 17:14
  • 121KB
  • 下载

西安交通大学 应用统计分析 全48讲 李倩02 讲座

  • 2016年05月30日 14:11
  • 9.46MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:第二届百度&西安交通大学大数据竞赛
举报原因:
原因补充:

(最多只允许输入30个字)