PCNNATT

最新推荐文章于 2020-11-10 15:51:11 发布
最新推荐文章于 2020-11-10 15:51:11 发布
阅读量1k 收藏 3
点赞数 2
文章标签： 剪枝 pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41375318/article/details/103221279
版权

PCNNATT

代码

《Neural Relation Extraction with Selective Attention over Instances》
—基于选择注意力机制的文本关系抽取
作者：林衍凯，刘知远，孙茂松
单位：清华大学
发表会议：ACL 2016

一 论文导读

1.关系抽取简介
2.远程监督关系抽取
3.前期知识

1.关系抽取简介

  • 关系抽取：是从文本中自动获取实体间关系事实的代表性任务。该任务目标是，给定一个包含两个实体的句子，从中抽取出这两个实体之间的联系。
  • 关系抽取是信息抽取的任务之一，在知识图谱的自动化构建和补全方面发挥着十分重要的作用
  • 所以，关系抽取任务对构建知识图谱至关重要。实体关系作为知识库的重要组成部分是进行语义理解的关键，一直以来都受到工业界与学术界的广泛关注。如何从无结构文本数据中自动获取这些结构化知识是最具挑战的任务，
有监督关系抽取
无监督关系抽取
弱监督关系抽取
开放式关系抽取

1.1有监督关系抽取

  • 有监督学习是从标记的训练数据来推断未标注数据类别的机器学习任务
  • 在使用有监督的方法解决关系抽取问题时，一般将关系抽取看做是一个多分类问题，提取特征向量（获得文本表示）后再使用有监督的分类器进行关系分类，所以关系集合是预先定义的，不能发现新的关系。
标注训练样本的表示
设计分类器训练模型
利用模型来预测关系

按照方法和时间，依次分为基于特征向量的方法、基于核函数的方法、基于神经网络的方法，在目前研究中占据主导地位。

1.2.无监督关系抽取

  • 无监督学习是不告诉计算机怎么做，而是让计算机自己去学习怎样做一些事情。

  • 无监督关系抽取方法主要基于分布假设理论，分布假设的核心思想是：如果两个词的用法相似即出现在相同上下文中，那么这两个词的意思相近。相应的，在实体关系抽取中，如果两个实体对具有相似的语境，那么这两个实体对倾向于具有相同的语义关系，基于此理论，无监督关系抽取将两个实体的上下文作为表征语义关系的特征。

  • 无监督关系抽取方法可以发现新的关系，但其发现的新关系往往是相似模板的聚类，其缺点是得到的关系不具语义信息，难以规则化，很难被用来构建知识库，研究相对较少。

1.3.弱监督关系抽取

弱监督学习是有监督学习和无监督学习的折中，训练数据只有部分标注或者标注有噪声。

  • 弱监督关系抽取主要有两种框架:

  • 1.使用半监督学习和主动学习等技术以尽可能少的代价提升抽取效果

  • 2．使用远程监督回标的思想，利用现有知识库中的关系三元组，自动回标三元组中实体所在的文本作为训练数据，由于其训练数据产生过程不需要人工标注，近年来在信息抽取领域得到广泛的应用，同时也是关系抽取的研究热点。

样例：

在这里插入图片描述

1.4.开方式关系抽取

开放式关系抽取是为了处理大量异构网络数据而设计的，其抽取的关系类型不受限制，数量也不定，一般使用句法模板及启发式规则从句子中得到两个概念，并抽取概念间的句子片段作为"关系”，在工业界中的应用较多，学术界的研究工作也在持续进行。

在这里插入图片描述

当前工业界多采用Bootstrapping的框架，该方法首先给定初始种子模板，然后通过多次迭代选取置信度高的抽取结果(此类方法在弱监督关系抽取中也有所涉及)。
在这里插入图片描述

关系抽取的发展趋势：让机器更准确地捕获和建模文本中的关键信息

1.基于特征的关系抽取
文法特征
句法特征
最短依存路径


2.基于神经网络的关系抽取
CNN
RNN
GCN
Transformer
Pre-trained LM

融入外部知识的关系抽取
实体描述信息
实体类型信息
一阶逻辑规则

2.远程监督关系抽取

  • 远程监督回标数据主要基于以下假设:如果两个实体在知识库中具有一定的关系,那么根据同时包含这两个实体的句子，就都能推断出实体对在知识库中具有的关系。
  • 由于语言表达的多样性，远程监督的这种假设往往太过强烈，两个实体出现在同一个句子中并不能表示它们就-定具有某种语义关系。虽然其克服了有监督方法需要人工标注数据 的不足，但也带来了新的回标噪声问题。
所以研究远程监督关系的核心问题就是如何降噪

在这里插入图片描述

  • 多示例学习

把训练数据集中每一个数据看做一个包(Bag)，每个包由多个示例(instance)构成，每个包有一个可见的标签，而包中的示例没有可见的标签。如果包中至少包含一个标签为正(positive)的示例，则包的标签为正;如果包中所有示例的标签都是负(negative)的，则包的标签为负。多示例学习的过程就是通过模型对包及其包含的多个示例进行分析预测得出包的标签。

在这里插入图片描述

  • 关系抽取的目标是获得两个实体之间的联系，而不这是狭义地对句子分类。
  • 将远程监督关系抽取看作是一个多示例问题，这样，我们就只需要要求在回标出来的所有句子中，至少有一个句子能表示两个实体间的关系。也就是将一个实体对对应的所有句子看作一个包，其中的每一个句子就是包中的一个示例，从而解决回标噪声的问题。

在这里插入图片描述

远程监督关系抽取的流程

多示例学习指导下的远程监督关系抽取的核心假设:至少一句表达真实关系

多示例包
输入向量化
得到句向量
得到包向量
训练分类器
得到关系

核心问题

得到句向量 -- 》 得到包向量

类比句子分类中每个词对整个句子语义贡献度不同的方案，使用句子级别的注意力机制

这就是PCNN的主要贡献

二 论文精读

噪声问题：使用多示例学习解决噪声问题，再使用句子级别的注意力机制解决句向量到包向量的主要问题

PCNN（Piecewise Convolutional Neural Networks）

分段卷积神经网络
在这里插入图片描述

  • 关系抽取的任务是给两个实体确定语义关系，位置特征对这一任务特别重要，因此在向量化表示时，对句子中每个词相对于实体对的位置进行建模。当实体由多个多个词组成时，设定整个实体只占据一个位置。

三 代码实现

四 问题思索

*Major*
关注
知识体系结构
qq_40099382的博客
11-11 856
知识体系结构 python基础-》机器学习-》机器学习实战+深度学习框架+深度学习 目前的学习方法的话就是----》看看理论以后，跑跑实验，熟悉熟悉代码 常见工程、应用、学习错误 知识体系结构（副） 日常安排 论文研究 知识体系结构 1. 数学基础 2. 计算机基础 3. 计算机语言基础 4. 数据库基础 5. 数字图像处理理论基础 6. 数字图像处理技术基础 7. 医学图像...
关系抽取实验
12-23
远程监督关系抽取，53类关系数据，采用的都是一些主流方法，比如cnn+att,pcnn+att,ResNet+att等
深度之眼Paper带读笔记NLP.13：PCNNATT
老毛的博客
10-15 1303
文章目录前言第一课 论文导读关系抽取简介远程监督关系抽取前期知识储备 前言 本课程来自深度之眼deepshare.net，部分截图来自课程视频。 文章标题：Neural Relation Extraction with Selective Attention over Instances 原标题翻译：基于选择注意力机制的文本关系抽取 作者：林衍凯、刘知远、孙茂松 单位：清华大学 发表会议及时间：A...
pytorch关系抽取框架OpenNRE源码解读与实践：PCNN ATT
xiaowopiaoling的博客
05-20 6018
OpenNRE是清华大学推出的开源关系抽取框架，针对命名实体识别，句子级别的关系抽取，远程监督（包级别的关系抽取），文档级别的关系抽取以及 few-shot 任务均有实现。其模块化的设计可以大幅度减少不必要的代码重写。 本文将对OpenNRE整体架构进行介绍，并重点解读OpenNRE中针对远程监督任务的模型 PCNN + ATT ：《Neural Relation Extraction with Selective Attention over Instances》。
【关系抽取】Tensorflow实现基于Attention的PCNN以及ResCNN等（1）
cym的博客
03-19 3623
本科毕业设计就是做关系抽取，准备采用远程监督数据集NYT数据集，使用Tensorflow实现几篇经典的论文，以及做一些改进和创新，本系列博客记录毕设全过程。 经典PCNN论文：http://www.aclweb.org/anthology/D15-1203 ResCNN论文：https://arxiv.org/pdf/1707.08866.pdf 注意本ResCNN模型没有结合Attenti...
关系抽取（分类）总结【转载】
热门推荐
微澜同学
05-10 3万+
366 次阅读关系抽取(分类)总结文章目录基本介绍Fully Supervised Learning相关文献总结1Distant Supervised Learning相关文献总结2附2018.04.04更新：z增加对NYT+Freebase数据集的两个版本的说明对近几年(到2017)一些关系抽取/分类(Relation Extraction)的部分文献的一个简单总结。基本介绍基本定义关系抽取: ...
关系抽取介绍
宴夜小丑的博客
08-14 1万+
这一章，我们要介绍关系抽取的背景，即知道什么是知识图谱--关系抽取，以及相关的基本概述。 一、知识图谱 介绍关系抽取前，我们需要了解一下什么是知识图谱，知识图谱最早由谷歌提出，初衷是为了让机器具备推理的能力，让它去“理解”语义层面，提供更好的查询 我们最早的搜索，是输入一个查询词，或者一个词的集合，在数据集中进行匹配，分词，将文档集进行排序，然后返回给用户，当时我们觉得他很有用，但是比如...
PCNN实践
我的备忘录
12-30 936
学习了这份代码, 但我出了bug没有跑起来 PCNN的原理省略. 代码遵循PCNN论文中的结构, 以80维词向量, 230个通道的卷积
基于PCNN的特征提取,
04-24
PCNN用于特征提取时，具体平移、旋转、尺度、扭曲等不变性，这正是许多年来基于内容的图像检索系统追求的目标，同时PCNN用于特征提取时，有很好的抗噪性。而且PCNN直接来自于哺乳动物视觉皮层神经的研究，具有提取图像形状，纹理，边缘的属性。用PCNN能很好地对图像进行签名，将二维的图像的特征提取成一维矢量签名。fun_pcnn
神经网络在关系抽取中的应用
大数据挖掘SparkExpert的博客
05-27 2万+
一、关系抽取简介 信息抽取的主要目的是将非结构化或半结构化描述的自然语言文本转化成结构化数据（Structuring），关系抽取是其重要的子任务，主要负责从文本中识别出实体（Entities)，抽取实体之间的语义关系。 如：句子“Bill Gates is the founder of MicrosoftInc.”中包含一个实体对(Bill Gates, Microsoft Inc.)，这两个
基于监督学习和远程监督的神经关系抽取
夏栀的博客
09-27 6908
神经关系抽取技术综述 作者：王嘉宁  QQ：851019059  Email：lygwjn@126.com   关系抽取作为自然语言处理重要的研究领域之一，一直以来受到国内外诸多高校、科研机构的高度关注。近些年来的ACL、EMNLP、AAAI、IEEE、ICDE、IJCAI等顶会，以“Relation Extraction”或“Relation Classification”为关键字的论文逐年增加...
2018年11月12月机器学习相关文章概览
祥瑞的技术博客
01-06 524
背景：自从做硬件项目以来，比较偏向于工程实现和代码能力的提升。对于机器学习理论和最新研究进展有很多不足的地方。因此需要多看一些机器学习的论文，了解研究方向与大趋势。 目的：粗略看一些机器学习相关研究的论文。文章多来自于公众号机器之心的梳理。 目录 一、用注意力GAN为百年旧照上色 技术细节   1.1 Self-Attention Generative Adversarial Netwo...
PCNN探究实验
lemonade_117的博客
07-21 5214
1.常规PCNN，采用kin的连接权矩阵，并固定参数beta = 0.2 alph = 0.22 Ve = 50 周期为15 初次迭代，图像信息熵最大，但效果不是最好的，在周期临界位置的不同迭代次数有不同的分割效果，第11次迭代效果最好。 因此通过信息熵来确定图像迭代次数的算法应对信息熵进行改进 n = 0                       n = 11   2. 常规P...
实体关系抽取 entity relation extraction 文献阅读总结
weixin_30662849的博客
11-21 1091
CIPS青工委学术专栏第3期 | 基于深度学习的关系抽取 http://www.cipsc.org.cn/qngw/?p=890 这里总结得很好 出现的知乎的链接笔记部分是我写的，也有我的同学写的。知乎id: WhiteAndWhite (本人是北邮研究生，毕设的方向是实体关系抽取，在这里总结一下我看过的关于这个task的文献，肯定有很多错误，还请大家指出。知乎上有我实验室的专栏，我...
CCKS2020基于本体的金融知识图谱自动化构建技术评测第五名方法总结
CycloneKid的博客
11-10 2958
评测任务介绍 评测地址 CCKS 2020: 基于本体的金融知识图谱自动化构建技术评测 链接：https://www.biendata.xyz/competition/ccks_2020_5/ 评测任务 金融研报是各类金融研究结构对宏观经济、金融、行业、产业链以及公司的研究报告。报告通常是有专业人员撰写，对宏观、行业和公司的数据信息搜集全面、研究深入，质量高，内容可靠。报告内容往往包含产业、经济、金融、政策、社会等多领域的数据与知识，是构建行业知识图谱非常关键的数据来源。另一方面，由于研报本身所容纳的数据
PCNN的知识抽取
我的备忘录
12-12 4236
PCNN是一个结构简单的CNN网络, 它最初被用于在已知实体对位置时, 辨别实体对关系的网络. 上图是论文里带的PCNN结构图. PCNN的输入由两部分构成, 一部分是词本身的词向量word, 另一部分是词相对于实体词的位置信息position. PCNN优秀的地方就在于加入了位置信息, 具体如下: 1.position共有两个, 分别对应两个实体位置. 以"小明的外号叫老王"为例, 分词时会被...
知识抽取之关系抽取[1]
Q_S_Y_Q的博客
06-01 5747
导读：本文转载自知乎RUC智能情报站的论文阅读笔记。 Neural Relation Extraction with Selective Attention over Instances阅读笔记 论文：Neural Relation Extraction with Selective Attention over Instances 发表会议：ACL2016 作者：Yankai Lin...
tensorflow 中两种attention机制区别
qq_34438672的博客
11-12 3036
转载：：：：https://blog.csdn.net/u010960155/article/details/82853632
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值