EMNLP19@结合的语义依存关系与图卷积神经网络GCN的细粒度情感分析模型CDT

最新推荐文章于 2024-03-22 20:38:03 发布
最新推荐文章于 2024-03-22 20:38:03 发布
阅读量1k 收藏 10
点赞数 4
文章标签： 自然语言处理 情感分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/loganzha/article/details/114014877
版权

论文信息

论文全名
Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree
发表会议：EMNLP2019
论文链接
https://www.aclweb.org/anthology/D19-1569.pdf

论文背景

这篇论文的研究领域是自然语言处理(NLP)中的aspect term sentiment classification(ATSC)领域。这篇论文的创新点是探索了将与神经网络相结合的语义依存关系树应用于表示学习的可能性，因为句子的语义关系可以显著缩短aspect与对应的sentiment之间的距离。比如句子” We ordered the special grilled branzino, that was so infused with bone, it was difficult to eat”的语义依存关系如下图所示：
在这里插入图片描述
从图中可以看出，aspect(”grilled branzino”)与情感词(“difficult”)在语义依存关系树上距离为1，显著缩短了aspect与sentiment word之间的距离。

论文方法：Convolution over Dependency Tree Model

首先给出模型图
在这里插入图片描述

  1. BiLSTM双向LSTM
    论文首先用BiLSTM来聚合单词的context信息。BiLSTM做法是正反两个方向的LSTM，最后将结果拼接起来。
  2. Graph Convolutional Network图卷积神经网络
    语义依存关系树可以看作是有n个结点的图，每个结点代表句子中的一个单词，图中每个边代表单词之间的语义依存关系。图网络中的结点用BiLSTM的结果初始化，之后用图卷积神经网络GCN来建模单词之间的依存关系。
    GCN可以有效地利用依存路径来在路径之间转换和传播信息，并且通过聚合邻居信息来更新结点embedding。通过这种机制，在k个GCN操作之后，结点就可以聚合到距离为k的结点信息。公式如下：
    在这里插入图片描述
    其中ci是正则化参数，等于1/di，其中di表示结点i的度(有多少条边与之相连)。
  3. 聚合器
    论文仅仅聚合aspect对应的vectors，使用平均聚合，最后使用全连接层来进行分类。
    在这里插入图片描述

实验设置

在这里插入图片描述
在这里插入图片描述

最后欢迎关注公众号NLP学习者，大家一起学习
在这里插入图片描述

loganzha
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ASGCN:EMNLP 2019论文的代码和预处理数据集，标题为“基于方面的图卷积网络的基于方面的情感分类”
05-02
更新：我介绍了一个新的模型，该模型包含在有向依赖关系树上的双向图卷积网络。 2020年10月5日：由于下载时字向量已损坏（例如，Gloves.840B.300d.txt通常太大），许多人可能会遇到。 因此，我们在rest14数据集中...
基于依存句法和图卷积神经网络的文本情感分析
Captain_F_的博客
04-21 1891
目标：对文本进行情感分析，并将其分为正面和负面 模型结构： --> Embedding layer --> BiLSTM --> GCN --> GloableAveragePooling --> Softmax 方法： 将依存句法分析构建的依存图作为邻接矩阵 利用BiLSTM编码后的特征作为节点特征 将邻接矩阵和节点特征作为GCN的输入，之后进行情感分类 结果： Precision (%) Recall (%) F1 (%) 91..
ASGCN之依存句法图的构建
qq_40940944的博客
03-02 1237
本文首先介绍依存句法理论，之后通过代码实现ASGCN中的依存句法图数据的构建。
基于卷积神经网络（CNN）的情感分析
最新发布
m0_73811154的博客
03-22 603
【代码】基于卷积神经网络（CNN）的情感分析。
基于GCN和句法依存分析的情感分析
发现问题，并解决问题，批判性思维
12-06 5067
内容速递 文章目录内容速递一、以往的方法 一、以往的方法 以往处理情感分析问题，比如使用最简单的多层感知机模型进行训练：
ACL20@结合GCN和transformer的细粒度情感分类模型DGEDT
loganzha的博客
02-24 3264
论文信息 论文全名 Dependency Graph Enhanced Dual-transformer Structure for Aspect-based Sentiment Classification 发表会议 ACL2020 论文地址 https://www.aclweb.org/anthology/2020.acl-main.588/ 论文代码 https://github.com/tomsonsgs/DGEDT-senti-master 论文背景 这篇论文的研究领域是自然语言处理(NLP)中
BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification
misaki_min的博客
10-28 1141
论文内容整理（自用） BERT4GCN 标题：BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification 摘要： 基于图的基于方面的情感分类(ABSC)方法已经取得了最先进的结果，特别是当使用了从训练前语言模型(PLMs)得到的上下文词嵌入时。然而，它们忽略了上下文的顺序特性，并没有充分利用PLMs。在本文中，我们提出了一个新的模型，它集成了来自BERT的PLM的语法顺序特
ACL2021 | CMU和北邮联合提出的DualGCN在基于Aspect的情感分析任务上达到了SOTA
zenRRan的博客
09-05 1122
每天给你送来NLP技术干货！单位：北京邮电大学、卡内基梅隆大学录取：ACL2021链接：https://aclanthology.org/2021.acl-long.494.pdf提取摘要...
人工智能项目资料-基于tensorflow实现了EMNLP2014的一篇论文“基于卷积神经网络的文本分类”.zip
02-03
我们深入探讨了深度学习的基本原理、神经网络的应用、自然语言处理、语言模型、文本分类、信息检索等领域。更有深度学习、机器学习、自然语言处理和计算机视觉的实战项目源码，助您从理论走向实践，如果您已有一定...
MulQG:图卷积网络的多跳问题生成
05-21
图卷积网络（MulQG）的多跳问题生成 这是该文件的实现： 图卷积网络的多跳问题生成。 ，，，紫薇姬，铁铮宇，EMNLP 2020帕斯卡尔丰调查结果 如果您在工作中使用此工具包中包含的任何源代码或数据集，请引用以下论文...
emnlp - 2019 如何用图神经网络（GNN）做自然语言处理 （GNN for NLP）.zip
11-06
今年的EMNLP 2019上，Shikhar等人做了tutorial，详述了如何用图神经网络（GNN）做自然语言处理。这个tutorial非常有价值，主要包括对GCN方法的研究、以及在不同的任务场景下，如何使用它来做更好的解决问题，提升...
WordGCN：ACL 2019：使用图卷积网络将句法和语义信息整合到单词嵌入中
02-06
WordGCN 使用图卷积网络在词嵌入中整合句法和语义信息 WordGCN概述 SynGCN概述：SynGCN使用图卷积网络来利用依赖上下文学习单词嵌入。 对于词汇表中的每个单词，该模型旨在通过基于使用GCN编码的依存关系上下文预测每个单词来学习其表示形式。 请参阅本文的第5节以获取更多详细信息。 依存关系 与TensorFlow 1.x和Python 3.x兼容。 可以使用requirements.txt安装依赖项。 pip3 install -r requirements.txt 安装用于评估学习的嵌入的。 可以从此下载本文中使用的测试和有效数据集拆分。 用提供的文件夹替换原始的~
适用于NLP的GNN：教程：EMNLP 2019和CODS-COMAD 2020上的用于自然语言处理的图形神经网络
02-04
依存关系与PyTorch 1.x，TensorFlow 1.x和Python 3.x兼容。 可以使用requirements.txt安装依赖项。TensorFlow示例： tf_gcn.py包含由提出的GCN模型的一阶逼近的简化实现 针对不同问题的相同实现的扩展： 关系提取： ...
GCN算法及实例分析
qq_45944185的博客
09-26 6627
一.GCN前瞻知识 1.图卷积计算公式:H(l+1)=σ(D~−12A~D~−12H(l)W(l))\mathrm{H}^{(l+1)}=σ(\widetilde{D}^{-\frac{1}{2}}\widetilde{A}\widetilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)})H(l+1)=σ(D−21​AD−21​H(l)W(l)) A~=A+I\widetilde{A}=A+IA=A+I D~=∑jA~ij\widetilde{D}=\sum_j\widetilde{A}
2019-EMNLP《CDT》Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree
weixin_56915683的博客
04-23 827
Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree一、Abstract一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 一、Abstract 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于
细粒度情感分析实战
qq_15821487的博客
04-21 4206
1粗粒度，句子级情感分类 情感分析相关的任务有语句级情感分析、评论对象抽取、观点抽取等等。一般来讲，被人们所熟知的情感分析任务是语句级别的情感分析，该任务是在宏观上去分析整句话的感情色彩，其粒度可能相对比较粗。 2细粒度，属性级情感分类 因为在人们进行评论的时候，往往针对某一产品或服务进行多个属性的评论，对每个属性的评论可能也会褒贬不一，因此针对属性级别的情感分析在真实的场景中会更加实用，同时更能给到企业用户或商家更加具体的建议。例如这句关于薯片的评论。 这个薯片味道真的太好了，口感很脆，只是包装很一般。
对话系统最新进展-17篇EMNLP 2021论文
yaohaishen的专栏
09-28 1476
Neural Path Hunter 论文标题： Neural Path Hunter: Reducing Hallucination in Dialogue Systems via Path Grounding 论文链接： https://arxiv.org/abs/2104.08455 项目地址： https://github.com/nouhadziri/Neural-Path-Hunter 基于大型预训练语言模型的对话系统天然能够提供流畅自然的响应，但这些模型通...
ACL 2021 | 基于依存句法驱动注意力图卷积神经网络的关系抽取
Paper weekly
08-25 2043
©作者|陈桂敏来源|QTrade AI研究中心QTrade 的 AI研究中心是一支将近 30 人的团队，主要研究方向包括：预训练模型、信息抽取、对话机器人、内容推荐等。本文介绍的是...
用 Pytorch 实现一个简单的图卷积神经网络
July树树
07-23 9329
用 Pytorch 实现一个简单的图卷积神经网络 深度学习在序列化数据的处理上取得了良好的效果, 但对于非欧空间中的数据处理问题却长时间难以突破. 在 2017 年, Kipf 等人在图神经网络上利用信号处理中的谱方法成功实现了卷积操作, 将卷积神经网络成功应用在图上, 即图卷积神经网络 (Graph Convolutional Network) 开启了在图上进行深度学习的新时代. 本文通过利用 GCN 实现一个简单的图数据集的分类问题展示图神经网络的效果 本文不会涉及到任何 GCN 的理论知识, 仅适用
循环神经网络到lstm的发展历程，lstm自己的发展历程，给出参考文献
05-21
循环神经网络（RNN）是一种能够处理序列数据的神经网络，它在每个时间步上接受输入，并且还会接收来自前一个时间步的隐藏状态作为输入。然而，传统的 RNN 有一个问题，就是在处理长序列时，梯度消失或梯度爆炸的问题会导致模型无法有效地学习长期依赖。 为了解决这个问题，1997年，Hochreiter 和 Schmidhuber 提出了长短期记忆（LSTM）网络。LSTM 在 RNN 的基础上增加了三个门（输入门、输出门和遗忘门），这些门控制着信息的流动，使得 LSTM 能够更好地处理长期依赖。 随着深度学习的发展，LSTM 也在不断演进。一些改进的 LSTM 模型被提出，例如 Gated Recurrent Unit (GRU)、Recurrent Highway Networks (RHN) 等。这些模型在 LSTM 的基础上进一步增加了门或者引入了新的结构，可以更好地处理长序列数据。 参考文献： - Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780. - Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014, June). Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 1724-1734). - Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555. - Zilly, J. G., Srivastava, R. K., Koutník, J., & Schmidhuber, J. (2016). Recurrent highway networks. arXiv preprint arXiv:1607.03474.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值