PCNNATT

最新推荐文章于 2022-06-24 00:32:57 发布
最新推荐文章于 2022-06-24 00:32:57 发布
阅读量1k 收藏 3
点赞数 2
文章标签： 剪枝 pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41375318/article/details/103221279
版权

PCNNATT

代码

《Neural Relation Extraction with Selective Attention over Instances》
—基于选择注意力机制的文本关系抽取
作者：林衍凯，刘知远，孙茂松
单位：清华大学
发表会议：ACL 2016

一 论文导读

1.关系抽取简介
2.远程监督关系抽取
3.前期知识

1.关系抽取简介

  • 关系抽取：是从文本中自动获取实体间关系事实的代表性任务。该任务目标是，给定一个包含两个实体的句子，从中抽取出这两个实体之间的联系。
  • 关系抽取是信息抽取的任务之一，在知识图谱的自动化构建和补全方面发挥着十分重要的作用
  • 所以，关系抽取任务对构建知识图谱至关重要。实体关系作为知识库的重要组成部分是进行语义理解的关键，一直以来都受到工业界与学术界的广泛关注。如何从无结构文本数据中自动获取这些结构化知识是最具挑战的任务，
有监督关系抽取
无监督关系抽取
弱监督关系抽取
开放式关系抽取

1.1有监督关系抽取

  • 有监督学习是从标记的训练数据来推断未标注数据类别的机器学习任务
  • 在使用有监督的方法解决关系抽取问题时，一般将关系抽取看做是一个多分类问题，提取特征向量（获得文本表示）后再使用有监督的分类器进行关系分类，所以关系集合是预先定义的，不能发现新的关系。
标注训练样本的表示
设计分类器训练模型
利用模型来预测关系

按照方法和时间，依次分为基于特征向量的方法、基于核函数的方法、基于神经网络的方法，在目前研究中占据主导地位。

1.2.无监督关系抽取

  • 无监督学习是不告诉计算机怎么做，而是让计算机自己去学习怎样做一些事情。

  • 无监督关系抽取方法主要基于分布假设理论，分布假设的核心思想是：如果两个词的用法相似即出现在相同上下文中，那么这两个词的意思相近。相应的，在实体关系抽取中，如果两个实体对具有相似的语境，那么这两个实体对倾向于具有相同的语义关系，基于此理论，无监督关系抽取将两个实体的上下文作为表征语义关系的特征。

  • 无监督关系抽取方法可以发现新的关系，但其发现的新关系往往是相似模板的聚类，其缺点是得到的关系不具语义信息，难以规则化，很难被用来构建知识库，研究相对较少。

1.3.弱监督关系抽取

弱监督学习是有监督学习和无监督学习的折中，训练数据只有部分标注或者标注有噪声。

  • 弱监督关系抽取主要有两种框架:

  • 1.使用半监督学习和主动学习等技术以尽可能少的代价提升抽取效果

  • 2．使用远程监督回标的思想，利用现有知识库中的关系三元组，自动回标三元组中实体所在的文本作为训练数据，由于其训练数据产生过程不需要人工标注，近年来在信息抽取领域得到广泛的应用，同时也是关系抽取的研究热点。

样例：

在这里插入图片描述

1.4.开方式关系抽取

开放式关系抽取是为了处理大量异构网络数据而设计的，其抽取的关系类型不受限制，数量也不定，一般使用句法模板及启发式规则从句子中得到两个概念，并抽取概念间的句子片段作为"关系”，在工业界中的应用较多，学术界的研究工作也在持续进行。

在这里插入图片描述

当前工业界多采用Bootstrapping的框架，该方法首先给定初始种子模板，然后通过多次迭代选取置信度高的抽取结果(此类方法在弱监督关系抽取中也有所涉及)。
在这里插入图片描述

关系抽取的发展趋势：让机器更准确地捕获和建模文本中的关键信息

1.基于特征的关系抽取
文法特征
句法特征
最短依存路径


2.基于神经网络的关系抽取
CNN
RNN
GCN
Transformer
Pre-trained LM

融入外部知识的关系抽取
实体描述信息
实体类型信息
一阶逻辑规则

2.远程监督关系抽取

  • 远程监督回标数据主要基于以下假设:如果两个实体在知识库中具有一定的关系,那么根据同时包含这两个实体的句子，就都能推断出实体对在知识库中具有的关系。
  • 由于语言表达的多样性，远程监督的这种假设往往太过强烈，两个实体出现在同一个句子中并不能表示它们就-定具有某种语义关系。虽然其克服了有监督方法需要人工标注数据 的不足，但也带来了新的回标噪声问题。
所以研究远程监督关系的核心问题就是如何降噪

在这里插入图片描述

  • 多示例学习

把训练数据集中每一个数据看做一个包(Bag)，每个包由多个示例(instance)构成，每个包有一个可见的标签，而包中的示例没有可见的标签。如果包中至少包含一个标签为正(positive)的示例，则包的标签为正;如果包中所有示例的标签都是负(negative)的，则包的标签为负。多示例学习的过程就是通过模型对包及其包含的多个示例进行分析预测得出包的标签。

在这里插入图片描述

  • 关系抽取的目标是获得两个实体之间的联系，而不这是狭义地对句子分类。
  • 将远程监督关系抽取看作是一个多示例问题，这样，我们就只需要要求在回标出来的所有句子中，至少有一个句子能表示两个实体间的关系。也就是将一个实体对对应的所有句子看作一个包，其中的每一个句子就是包中的一个示例，从而解决回标噪声的问题。

在这里插入图片描述

远程监督关系抽取的流程

多示例学习指导下的远程监督关系抽取的核心假设:至少一句表达真实关系

多示例包
输入向量化
得到句向量
得到包向量
训练分类器
得到关系

核心问题

得到句向量 -- 》 得到包向量

类比句子分类中每个词对整个句子语义贡献度不同的方案，使用句子级别的注意力机制

这就是PCNN的主要贡献

二 论文精读

噪声问题：使用多示例学习解决噪声问题，再使用句子级别的注意力机制解决句向量到包向量的主要问题

PCNN（Piecewise Convolutional Neural Networks）

分段卷积神经网络
在这里插入图片描述

  • 关系抽取的任务是给两个实体确定语义关系，位置特征对这一任务特别重要，因此在向量化表示时，对句子中每个词相对于实体对的位置进行建模。当实体由多个多个词组成时，设定整个实体只占据一个位置。

三 代码实现

四 问题思索

*Major*
关注
论文研究-基于特征选择的实体关系抽取.pdf
07-23
提出了一种实体关系抽取方案，该方案针对实体关系抽取中特征空间维数过高问题，引入了文本分类中的特征选择算法，如信息增益、期望交叉熵和x2统计，实现了特征空间降维。实验结果表明，各特征选择算法均能在尽量保证抽取性能的同时有效地降低向量空间维数，提高分类效率，其中x2统计取得的效果最好。
关系抽取论文整理——早期文献
Matt_sh的博客
02-15 905
说明 本文是个人阅读文章的笔记整理，没有涉及到深度学习在关系抽取中的应用。 笔记中一部分来自个人解读，一部分来自原文，一部分来自网上摘录。【由于文章是分开做笔记，很多参考链接没有及时保留，还请谅解。如果介意，请及时联系我。】 由于该接触阅读文献，阅读方法还不成系统，有时过分注重细节，花了点不必要时间。 部分笔记还不够完善，随缘补，之后重点应该是这几年的前沿论文。 正文 核方法： Depen...
pytorch关系抽取框架OpenNRE源码解读与实践：PCNN ATT
xiaowopiaoling的博客
05-20 5947
OpenNRE是清华大学推出的开源关系抽取框架，针对命名实体识别，句子级别的关系抽取，远程监督（包级别的关系抽取），文档级别的关系抽取以及 few-shot 任务均有实现。其模块化的设计可以大幅度减少不必要的代码重写。 本文将对OpenNRE整体架构进行介绍，并重点解读OpenNRE中针对远程监督任务的模型 PCNN + ATT ：《Neural Relation Extraction with Selective Attention over Instances》。
基于深度学习的关系抽取
ChayCao
01-06 3万+
参考：http://www.docin.com/p-1775027820.html目的从文本中识别实体并抽取实体之间的语义关系主流的关系抽取技术 有监督的学习方法：将关系抽取任务当做分类问题。根据训练数据设计有效的特征，从而学习各类分类模型，然后使用训练好的分类器预测关系。该方法的问题在于需要大量的人工标注训练语料，而语料标注工作通常非常耗时耗力。 半监督的学习方法：主要采用 BootStrappi
关系抽取实验
12-23
远程监督关系抽取，53类关系数据，采用的都是一些主流方法，比如cnn+att,pcnn+att,ResNet+att等
人物关系抽取——基于特征工程
微澜同学
07-15 776
本文代码，不得转载。 # -*- coding: utf-8 -*- # Author: lx # extract features from the text import pandas as pd import numpy as np from text1 import CountVectorizer from sklearn.feature_extraction.text import...
关系抽取（分类）总结【转载】
热门推荐
微澜同学
05-10 3万+
366 次阅读关系抽取(分类)总结文章目录基本介绍Fully Supervised Learning相关文献总结1Distant Supervised Learning相关文献总结2附2018.04.04更新：z增加对NYT+Freebase数据集的两个版本的说明对近几年(到2017)一些关系抽取/分类(Relation Extraction)的部分文献的一个简单总结。基本介绍基本定义关系抽取: ...
关系抽取常用方法
简单随风的博客
03-01 1万+
关系抽取通常会基于以下几种方式去做： 基于规则 监督学习 半监督 & 无监督学习 Bootstrap Distant Supervision 无监督学习 下面分别举例去说明方法的实现方式。 1.基于规则的方法，表示 “is - a” 目的：找出尽可能多的拥有"is - a"关系的实体对（实体1，is - a，实体2） 比如我们有一些文章: " … apple is a fr...
关系抽取介绍
宴夜小丑的博客
08-14 1万+
这一章，我们要介绍关系抽取的背景，即知道什么是知识图谱--关系抽取，以及相关的基本概述。 一、知识图谱 介绍关系抽取前，我们需要了解一下什么是知识图谱，知识图谱最早由谷歌提出，初衷是为了让机器具备推理的能力，让它去“理解”语义层面，提供更好的查询 我们最早的搜索，是输入一个查询词，或者一个词的集合，在数据集中进行匹配，分词，将文档集进行排序，然后返回给用户，当时我们觉得他很有用，但是比如...
深度之眼Paper带读笔记NLP.13：PCNNATT
老毛的博客
10-15 1285
文章目录前言第一课 论文导读关系抽取简介远程监督关系抽取前期知识储备 前言 本课程来自深度之眼deepshare.net，部分截图来自课程视频。 文章标题：Neural Relation Extraction with Selective Attention over Instances 原标题翻译：基于选择注意力机制的文本关系抽取 作者：林衍凯、刘知远、孙茂松 单位：清华大学 发表会议及时间：A...
PCNN实践
我的备忘录
12-30 921
学习了这份代码, 但我出了bug没有跑起来 PCNN的原理省略. 代码遵循PCNN论文中的结构, 以80维词向量, 230个通道的卷积
神经网络在关系抽取中的应用
大数据挖掘SparkExpert的博客
05-27 2万+
一、关系抽取简介 信息抽取的主要目的是将非结构化或半结构化描述的自然语言文本转化成结构化数据（Structuring），关系抽取是其重要的子任务，主要负责从文本中识别出实体（Entities)，抽取实体之间的语义关系。 如：句子“Bill Gates is the founder of MicrosoftInc.”中包含一个实体对(Bill Gates, Microsoft Inc.)，这两个
【关系抽取】Tensorflow实现基于Attention的PCNN以及ResCNN等（1）
cym的博客
03-19 3607
本科毕业设计就是做关系抽取，准备采用远程监督数据集NYT数据集，使用Tensorflow实现几篇经典的论文，以及做一些改进和创新，本系列博客记录毕设全过程。 经典PCNN论文：http://www.aclweb.org/anthology/D15-1203 ResCNN论文：https://arxiv.org/pdf/1707.08866.pdf 注意本ResCNN模型没有结合Attenti...
基于监督学习和远程监督的神经关系抽取
夏栀的博客
09-27 6874
神经关系抽取技术综述 作者：王嘉宁  QQ：851019059  Email：lygwjn@126.com   关系抽取作为自然语言处理重要的研究领域之一，一直以来受到国内外诸多高校、科研机构的高度关注。近些年来的ACL、EMNLP、AAAI、IEEE、ICDE、IJCAI等顶会，以“Relation Extraction”或“Relation Classification”为关键字的论文逐年增加...
文本处理之中的关系抽取论文阅读
scarlette唐从入门到放弃
01-17 2254
好久没有写东西了~~感觉都跟时代脱节了~~幸亏有师兄师弟拉扯。 今天看了实体关系抽取的论文，简单记录一下 （1） 论文名称：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification 作者信息：中科大自动化所 Zhou 模型名称：Att+BLSTM 论
【图像特征提取】基于脉冲耦合神经网络（PCNN）实现图像特征提取含Matlab源码
qq_59747472的博客
06-24 544
脉冲耦合神经网络（PCNN——Pulse Coupled Neural Network）,由于其非常接近人类大脑的生物神经网络的特性，现已广泛应用在图像处理中，是一种重要的信息处理工具，具有优良的自适应图像分割和自适应特征提取能力。尽管PCNN 输出脉冲序列具有旋转、尺度、平移、扭曲等畸变不变性，同时还包含了原始激励的边缘、纹理、区域等信息，但如果目标有细微差别，PCNN 往往不能很好识别。本文有机的运用了PCNN的自适应特征提取能力结合体视学的研究提出了一种计算中药材显微图像目标二相面积的方法，然后从Hu
【图像特征提取】基于matlab脉冲耦合神经网络（PCNN）图像特征提取【含Matlab源码 1868期】
订阅付费专栏（初级版），可赠送该付费专栏任意代码1份；
06-09 2907
脉冲耦合神经网络（PCNN）图像特征提取 完整代码，直接运行，适合小白！可提供运行操作视频！
多实例学习PCNN在关系抽取中的应用
weixin_43128028的博客
10-04 1712
参考文献：Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks 摘要 在远程监督关系提取中，提出两个问题。 第一，首先，在这种方法中，启发式地将一个已经存在的知识库与文本对齐，并将对齐结果作为标记数据处理。但由于错误标签的存在，启发式的标记是错误的。 第二，传统模型进行特征提取过程中产生的噪声会导致性能下降。 针对以上两个问题，本论文提出了PCNN（多实例学习的分段卷积神经网络）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值