【论文阅读】Improving Document-level Relation Extraction via Contextualizing Mention Representations and W

最新推荐文章于 2023-04-07 20:04:17 发布
最新推荐文章于 2023-04-07 20:04:17 发布
阅读量263 收藏
点赞数
分类专栏： 论文阅读 文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li_jiaoyang/article/details/112507748
版权
本文档介绍了如何通过上下文化提及表示和加权提及对来改进文档级关系抽取。主要包含四个步骤：embedding层结合word, 实体类型和共指的embedding；encode层使用堆叠的BILSTM；共同Attender和集成Attender利用Transformer获取重要提及的上下文；最后，聚合层和输出层采用多实例学习整合预测结果。" 82359325,7903315,Java实现Modbus协议与BW500皮带秤通讯,"['Java开发', '协议通讯', '工业控制', '数据采集', 'Modbus']
摘要由CSDN通过智能技术生成

ICKG 2020
作者提供的源代码

Improving Document-level Relation Extraction via Contextualizing Mention Representations and Weighting Mention Pairs

在这里插入图片描述

1. embedding层

每一个单词搞成word embedding，实体类型embedding，共指embedding，这三者的拼接。
将对应于同一实体的提及赋值为相同的实体id，并将实体id映射到向量中作为共指embedding。

2. encode层

把上一层的embedding送入N层堆叠的BILSTM，将BILSTM最后一层的输出送入线性层，用Relu激活一下。
在这里插入图片描述

3. Attender 层

说白了都是用单层的trans

最低0.47元/天 解锁文章
今天NLP了吗
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【论文学习ATLOP】Document-Level Relation Extraction
Ahighmore的博客
08-04 961
欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片
2017emnlp---Document-Level Multi-Aspect Sentiment Classification as Machine Comprehension阅读笔记
lrt366的博客
07-31 1404
The code and data for this paper are available at https://github.com/HKUST-KnowComp/DMSCMC  Abstract  文档级别的多aspact情感分类对于顾客关系管理是一个重要的任务，在我们的论文中，我们将任务建模为机器理解问题, 其中伪 question-answer 对是由少数aspect相关的关键字和a...
EIDER: Evidence-enhanced Document-level Relation Extraction阅读笔记
comeonfly666的博客
09-13 746
EIDER: Evidence-enhanced Document-level Relation ExtractionBackgroundPurposeMethodologyJoint Relation and Evidence ExtractionEvidence-centered Relation ExtractionFusion of Extraction Results Background 文档级关系抽取的目的是提取文档中实体对之间的关系，文档中的推断关系所需的最小句子集称为“evidence s
【论文学习】Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation
weixin_50833696的博客
02-19 762
Document-level Relation Extraction(DocRE) 相比句级关系提取来说更麻烦。它需要一次从多个句子中提取关系。这篇论文提出了一种半监督框架，并且有三个新颖点。第一，使用了一个轴向注意力模块来学习实体对的相关性；第二，提出了一个适应性焦距损失来解决DocRE的类不平衡问题；第三，使用知识蒸馏来克服人类标注数据与远程监督数据的差异性。（轴向注意力就是先在竖直方向进行self-attention，然后再在水平方向进行self-attention；
Techniques and Applications for Sentiment Analysis——2. Document-Level Sentiment Analysis 文档级情感分析
qq_33790600的博客
12-28 397
“This is the simplest form of sentiment analysis and it is assumed that the document contains an opinion on one main object expressed by the author of the document. Numerous papers have been written on this topic. There are two main approaches to document-
PaperNotes丨Improving Review Representations with User Attention and Product Attention for Sentiment
yufanwenshu的博客
10-28 241
This paper propose a new framework called HUAPA(Hierarchical User Attention and Product Attention neural network) which encode user information and product information seperately in document-level review sentiment classification. It performs much bette
Improving Distantly-Supervised Neural Relation Extraction using Side Information
06-03
在自然语言处理（NLP）领域中，关系抽取（Relation Extraction, RE）是一项关键任务，它旨在从非结构化的文本中识别实体之间的语义关系。传统的关系抽取方法通常依赖于大量人工标注的数据集进行训练，但这种方式耗时...
Improving All-Inorganic Perovskite Photodetectors by Preferred Orientation and Plasmonic Effect.
02-08
这篇研究论文的标题是“通过优选取向和等离子体效应提高全无机钙钛矿光电探测器性能”。论文的核心内容是探讨了通过特定的制备方法和引入贵金属纳米晶体产生的等离子体共振效应来提高全无机钙钛矿材料制成的光电探测...
Improving sentiment analysis via sentence type classification using BiLSTM-CRF and CNN
02-22
标题“Improving sentiment analysis via sentence type classification using BiLSTM-CRF and CNN”和描述中蕴含的知识点涉及自然语言处理（NLP）、情感分析（Sentiment Analysis）、深度神经网络（Deep neural ...
论文研究-Improving Text Models with Latent Feature Vector Representations.pdf
08-22
本文的主题是围绕如何利用潜在特征向量来改进文本表示模型，这一研究方向在自然语言处理(NLP)领域具有重要地位。文本表示是NLP中的一个关键问题，它直接关系到文本分类等研究课题的效果。一个良好的文本表示模型应该...
【论文解读】Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation
Queen_sy的博客
04-07 604
其中是二元标签值0或者1，是属于标签值的概率。可以轻易地分析出来，当标签值时，；当标签值时，。也就是说，在二元交叉熵损失函数第一项和第二项之中，必定有一项的值为0。我们再来看第一项和第二项的函数图像（横坐标为，纵坐标为）：当标签值时 ，，如果接近1，接近0；如果接近0， 则变得无穷大。当标签值时，，如果接近1，变得无穷大；如果接近0，接近0。通过以上的简单分析，当预测值接近标签值时损失很小，当预测值远离标签值时损失很大，这一特性是有利于模型的学习的。二元交叉熵(BCE)
解读《Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation》论文
ac不知深的博客
05-09 1324
对于本论文我把所有内容重新排版了，加上自己更直白的话来直观介绍。 如果对于文章里的名词解释有疑惑，可以参考我这篇文章 一、工作： 首先，我们使用轴向注意模块学习实体对之间的相互依赖关系，提高了两跳关系的性能。其次，我们提出了一个自适应的局部损失来解决DocRE的类不平衡问题。最后，我们利用知识蒸馏来克服人工标注数据与远程监督数据之间的差异。 首先，为了改进两跳关系的推理，我们提出使用轴向注意模块作为特征提取器。此模块使我们能够关注两跳逻辑路径内的元素，并捕获关系三元组之间的相互依赖关系。其次，我们提出自适应
文档级关系抽取论文阅读
weixin_40875443的博客
03-23 708
1. 《2021-IJCAI-Document-level Relation Extraction as Semantic Segmentation》 论文阅读：添加链接描述 研究动机：先前的基于graph或基于transformer的模型仅单独地使用实体对，而未考虑关系三元组之间的全局信息。本文创新性地提出DocuNet模型，首次将文档级关系抽取任务类比于计算机视觉中的语义分割任务。DocuNet模型利用编码器模块捕获实体的上下文信息，并采用U-shaped分割模块在image-style特征图上捕获三
【论文阅读】Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling
li_jiaoyang的博客
01-10 1765
AAAI 2021 源代码 创新 没有引入图结构，而是把上下文embedding融入到实体embedding 提出自适应阈值损失，而非设定死板的全局阈值 编码器 还是使用基础的bert，但是在扔进bert之前，对文档中的实体提及前后加以 * 标记 对于每个实体，因为有好多个提及，把他们编码后的embedding，使用logsumexp pooling，得到实体的embedding表示。 获取一对实体的embedding以后，分别送入线性层，tanh再激活一下，二者一起送入全连接层，用sigmoid计.
文档级关系抽取小结及论文阅读：Document-Level Relation Extraction with Reconstruction
Ming_LQ的博客
07-06 1381
Document-Level Relation Extraction with Reconstruction一、背景介绍二、相关工作1、Attention Guided Graph Convolutional Networks for Relation Extraction2、Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network3、Connecting the Dots: Docum
中科大徐童：AI×Talent数据驱动的智能人才计算
读芯术的博客
06-05 1498
不到现场，照样看最干货的学术报告！嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现...
篇章级关系抽取(Doc-RE)论文列表整理
zenRRan的博客
01-06 1442
来自：深度学习的知识小屋最近小编在整理一些篇章级别的工作，首先整理了一份篇章级关系抽取 (Doc-RE)的论文列表，希望可以为大家的学习和研究提供一定的便利！ps. 感谢 张振宇博士(...
论文笔记（NLP）——Sentiment Classification using Document Embeddings trained with Cosine Similarity
大太阳
05-22 800
1. Abstract Document embedding将每个文档映射到连续向量空间中一个密集的低维的向量。本文提出了使用余弦相似度（cosine similarity）代替点积（dot product）来训练document embedding。 数据集：IMDB 实验表明： 与dot product相比，使用cosine similarity可以提高准确性； 将naive bayes的n-grams袋的feature combination加权使用可以达到97.42%的准确率。 2. Intro
improving subgraph representation learning via multi-view augmentation
最新发布
04-22
好的，您的问题是关于如何通过多视图扩充来改进子图表示学习的。这是一个典型的图表示学习问题，其中子图在图中扮演着重要的角色。为了更好地学习子图的表示，可以采用多视图学习的方法，通过一系列有意义的视图来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值