基于强化学习的关系抽取和文本分类

参考链接:https://so.csdn.net/so/search/s.do?q=%E5%85%B3%E7%B3%BB%E6%8A%BD%E5%8F%96&t=%20&u=

本文为 11 月 22 日,清华大学计算机系——冯珺博士在第 18 期 PhD Talk 中的直播分享实录。

随着强化学习在机器人和游戏 AI 等领域的成功,该方法也引起了越来越多的关注。本期 PhD Talk,来自清华大学计算机系的博士生冯珺,为大家介绍了如何利用强化学习技术,更好地解决自然语言处理中的两个经典任务:关系抽取和文本分类。 


在关系抽取任务中,尝试利用强化学习,解决远程监督方法自动生成的训练数据中的噪音问题。在文本分类任务中,利用强化学习得到更好的句子的结构化表示,并利用该表示得到了更好的文本分类效果。本次分享的两个工作均发表于 AAAI2018


>>>>

 获取完整PPT和视频


  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
句子级文档抽取是自然语言处理的一个重要任务,它的目的是从文档提取出与某一主题相关的句子。这些句子可以被用于摘要生成、信息检索、文本分类等任务。在本文,我们将介绍句子级文档抽取的相关知识,包括任务定义、技术方法、评估指标等。 一、任务定义 句子级文档抽取的任务定义是从给定的文本抽取出与某一主题相关的句子。这个主题可以是一个关键词、一个短语、一个问题等等。句子级文档抽取可以用于自动摘要、信息检索、文本分类等任务。例如,在自动摘要,我们可以从一篇文章抽取出与摘要主题相关的句子,然后将它们组合成一个摘要。 二、技术方法 句子级文档抽取的技术方法主要包括以下几种: 1. 基于关键词的方法 基于关键词的方法是最简单的句子级文档抽取方法之一。它的基本思想是在文本查找与主题相关的关键词,并提取包含这些关键词的句子。这种方法的优点是简单易用,但它的缺点是无法处理同义词、词形变化、多义词等问题。 2. 基于统计的方法 基于统计的方法是句子级文档抽取最常用的方法之一。它的基本思想是根据某些统计特征来确定句子的相关性。这些统计特征可以是词频、句子长度、词性、词义等等。例如,在文本分类,我们可以使用朴素贝叶斯算法来计算每个句子属于某个类别的概率,然后选择概率最大的句子作为与主题相关的句子。 3. 基于机器学习的方法 基于机器学习的方法是句子级文档抽取最先进的方法之一。它的基本思想是使用机器学习算法来训练一个模型,该模型可以根据某些特征来确定句子的相关性。这些特征可以是词频、句子长度、词性、词义等等。例如,在文本分类,我们可以使用支持向量机、决策树等机器学习算法来训练一个分类器,然后使用该分类器来判断每个句子是否属于某个类别。 4. 基于深度学习的方法 基于深度学习的方法是句子级文档抽取最新的方法之一。它的基本思想是使用深度神经网络来学习句子的表示,然后根据这些表示来判断句子的相关性。例如,在文本分类,我们可以使用卷积神经网络、循环神经网络等深度学习算法来学习句子的表示,然后使用这些表示来判断每个句子是否属于某个类别。 三、评估指标 句子级文档抽取的评估指标主要包括以下几种: 1. 准确率 准确率是句子级文档抽取最常用的评估指标之一。它的定义是正确抽取的句子数除以总的抽取句子数。例如,如果我们抽取了100个句子,其有90个与主题相关,而我们正确地识别了85个相关句子,那么准确率为85%。 2. 召回率 召回率是句子级文档抽取另一个常用的评估指标。它的定义是正确抽取的句子数除以总的相关句子数。例如,如果文本有100个与主题相关的句子,而我们正确地识别了85个相关句子,那么召回率为85%。 3. F1值 F1值是准确率和召回率的调和平均值。它的定义是2乘以准确率和召回率的乘积除以准确率和召回率的和。例如,如果我们的准确率为85%,召回率为90%,那么F1值为87.17%。 四、应用场景 句子级文档抽取在自然语言处理被广泛应用,主要包括以下几个方面: 1. 自动摘要 自动摘要是句子级文档抽取的一个重要应用场景。它的基本思想是从一篇文章抽取出与摘要主题相关的句子,然后将这些句子组合成一个摘要。自动摘要可以用于新闻报道、科技文章、学术论文等领域。 2. 信息检索 信息检索是句子级文档抽取的另一个重要应用场景。它的基本思想是从文本抽取出与查询相关的句子,并返回给用户。信息检索可以用于搜索引擎、智能问答系统等领域。 3. 文本分类 文本分类是句子级文档抽取的另一个应用场景。它的基本思想是根据文本的内容将文本分为不同的类别。例如,我们可以将新闻文章分为体育、娱乐、科技等不同的类别。文本分类可以用于新闻分类、情感分析、垃圾邮件过滤等领域。 五、研究现状 句子级文档抽取是自然语言处理的一个热门研究方向。近年来,研究人员提出了许多新的方法和模型来解决这个问题。下面我们将介绍一些最新的研究成果。 1. 基于注意力的模型 基于注意力的模型是最新的句子级文档抽取方法之一。它的基本思想是使用注意力机制来学习句子的表示,然后根据这些表示来判断句子的相关性。例如,在文本分类,我们可以使用注意力机制来学习每个句子的重要性,然后使用这些重要性来调整每个句子的表示,从而提高分类的准确率。 2. 基于语言模型的方法 基于语言模型的方法是句子级文档抽取另一个最新的方法。它的基本思想是使用语言模型来学习句子的表示,然后根据这些表示来判断句子的相关性。例如,在自动摘要,我们可以使用语言模型来计算每个句子的概率,然后选择概率最大的句子作为摘要。 3. 基于深度强化学习的方法 基于深度强化学习的方法是最新的句子级文档抽取方法之一。它的基本思想是使用深度强化学习算法来训练一个模型,该模型可以根据某些特征来确定句子的相关性。例如,在信息检索,我们可以使用深度强化学习算法来训练一个智能代理,该代理可以根据用户的查询历史来选择与查询相关的句子。 六、总结 句子级文档抽取是自然语言处理的一个重要任务,它的目的是从文档提取出与某一主题相关的句子。句子级文档抽取可以用于自动摘要、信息检索、文本分类等任务。在技术方法方面,我们介绍了基于关键词、统计、机器学习、深度学习等方法。在评估指标方面,我们介绍了准确率、召回率、F1值等指标。在应用场景方面,我们介绍了自动摘要、信息检索、文本分类等方面。最后,我们介绍了一些最新的研究成果,包括基于注意力的模型、基于语言模型的方法、基于深度强化学习的方法等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值