论文笔记（一）Document Modeling with Gated Recurrent Neural Network for Sentiment Classification

最新推荐文章于 2022-03-15 08:34:18 发布
最新推荐文章于 2022-03-15 08:34:18 发布
阅读量601 收藏
点赞数 1
分类专栏： 论文 文章标签： 论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chrils_Evens/article/details/97680727
版权

最近又读了一篇论文，讲的是如何捕获文档级别的文本情感（其实就是如何捕获句子之间的关系）

  1. 解决问题：解决的就是如何捕获句子之间的关系
  2. word-sentence
    word-sentence
    先将每个word编码成向量（skip模型）Wi，然后将每个单词的向量叠加成一个句子，接着采用三个不同的卷积核（length = 1，2，3）来对句子进行特征的提取，加池化层（主要是为了能够捕获全句的语义），激活层用Tanh，然后对求出的三个向量进行平均计算得到句子（sentence）的向量。
  3. sentence-doc

在这里插入图片描述
接下来就是每个句子如何得到整个文章的向量，这篇论文里面用的是GNN网络，分别用了两种方法（1）一种是将每个句子的向量送入，（有点类似于LSTM）通过每一层的计算得到整个文档的向量表达。
（2）另一种是将每个句子的向量送入GNN生成向量进行求和。
（3）使用双向GNN（bi-GNN）网络进行句子的向量计算

  1. detail
    每个word生成的是200维向量（Skip模型）
    学习率为0.03
    在文档级别的评审中有很多情感转移器(例如否定词或对比词)，而Tang等人(2014)通过给每个包含的 短语分配情感标签来学习。
    pool层是为了更好的提取句子的语义特征
    在语句建模方面LSTM优于CNN，标准的RNN效果是最差的,求平均和递归得到句子向量结果基本差不多
季白二九
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hierarchical Attention Network for Document Classification阅读笔记
呜呜哈的博客
06-22 1万+
最近看了”Hierarchical Attention Network for Document Classification”一篇文章，也在网上找了一些资料结合理解，发现在此之前有篇文章跟他提出的模型架构基本相似，只不过不包含attention机制：“Document Modeling with Gated Recurrent Neural Network for Sentiment Class
DocumentModeling with Convolutional-Gated Recurrent Neural Network for SentimentClassification
02-06
DocumentModeling with Convolutional-Gated Recurrent Neural Network for SentimentClassification
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification
westbrook_wang的博客
09-24 2137
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification 来源：（EMNLP2015）     Abstract & Introduction   在摘要和引言部分： 1、篇章级情感分析存在一个问题：如何对句间的内在语义关系编码？ 2、作者引入自底向上的基于向量的...
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification 论文阅读笔记
四个菜
05-17 1017
Paper: Document Modeling with Gated Recurrent Neural Network for Sentiment Classification Author: Duyu Tang, et al. Publication: 2015, EMNLP. 文章目录1 背景2 创新点3 核心方法3.1 句子表达3.2 文本表达3.3 情感分类4 实验4.1 实验设置4....
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification (EMNLP 2015)
qq_43658933的博客
03-15 391
基于门控循环神经网络的文本情感分类建模 Gated Recurrent Neural Network（Gated RNN）: ​    simple RNN 具有梯度消失或者梯度爆炸的特点，所以，在实际应用中，带有门限的RNN模型变种（Gated RNN）起着至关重要的作用 GRNN：广义回归神经网络 Abstract ​    引入了一个神经网络，以统一的，自底向上的方式来学习基于向量的文本表示方法。该模型首次使用CNN/LSTM来学习句
【论文阅读笔记】Document Modeling with Gated Recurrent Neural Network for Sentiment Classification
qq_49947461的博客
10-31 547
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification 目录 introduction method experiments conclusion and future work introduction 篇章级情感分析存在一个问题：如何对句间的内在语义关系编码？ 针对这个问题： 本文提出了一种神经网络学习连续文档表示用于情绪分类的方法。该方法是基于组合性原则： 第一步，用Word2Vec实现词
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling rar
07-09
《Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling》这篇论文主要探讨了门控循环神经网络（Gated Recurrent Units, GRU）在序列建模中的应用与实证评估。GRU是循环神经网络...
论文研究-A Fault Diagnosis Modeling Method Combined RBF Neural Network with Rough Set Theory.pdf
08-20
基于神经网络和粗糙集的故障诊断模型，周柳阳，石玉文，为了提高诊断精度和减少错误的诊断，提出了一种基于粗糙集理论和RBF神经网络的故障诊断模型。首先，对数据进行预处理，形成故障诊
A Text Sentiment Classification Modeling Method Based on Coordinated CNN-LSTM-Attention Model
02-08
The major challenge that text sentiment classification modeling faces is how to capture the intrinsic semantic, emotional dependence information and the key part of the emotional expression of text....
【11】Fast and accurate recurrent neural network acoustic models
08-26
with connectionist temporal classification (CTC). In this paper, we present techniques that further improve performance of LSTM RNN acoustic models for large vocabulary speech recognition. We show ...
gated recurrent convolution neural network for ocr
11-29
Gated Recurrent Convolution Neural Network for OCR.这是一篇CNN解决OCR问题的论文，好像是发表在NIPS上的吧，忘了
深度学习课程笔记（十五）Recurrent Neural Network
a1424262219的博客
08-07 271
深度学习课程笔记（十五）Recurrent Neural Network 2018-08-0718:55:12 This video tutorial can be found from: Youtube Issue: 传统方法中，当你的训练数据中，没有那么丰富的 training data，那么可能会导致部分数据的预测为 0，如上图所示...
Hierarchical Attention Networks for Document Classification论文阅读笔记
westbrook_wang的博客
09-24 1341
  Hierarchical Attention Networks for Document Classification （ACL2016）   动机 在分类任务中，句子中包含的每个词语相对于分类任务的重要性并不一样，比如在IMDB影评数据集中， like, amazing, terrible 这样的词语更能够决定句子的情感。一篇document也由多个句子组成，在篇章级别的分类时...
学习DGCNN《Dilate Gated Convolutional Neural Network》记录
小岁月太着急
08-24 2950
模型介绍 DGCNN，全名为Dilate Gated Convolutional Neural Network，即“膨胀门卷积神经网络”，顾名思义，融合了两个比较新的卷积用法：膨胀卷积、门卷积，并增加了一些人工特征和trick，最终使得模型在轻、快的基础上达到最佳的效果。 模型结构 特点： 门机制： 模型中采用的卷积结构，来自FaceBook的《Convolutional Se...
基于循环神经网络的主题模型
Ada
04-17 1万+
摘  要:      原有的主题模型是基于词袋模型的假设，很大程度上忽略单词的前后顺序或其主题连贯性。本文提出一个基于神经网络的话题生成模型，假定每个词的生成取决于句子中的历史单词，通过使用基于递归神经网络(RNN)的框架考虑句子中单词序列性，将句子的分布式表示作为神经网络模型的基本输入，通过将topic model与神经网络结合，利用周围单词的上下文关系来建模。实验结果表明，本文提出的LDA-L
循环神经网络（Recurrent Neural Network）
MapleStory的博客
12-20 6807
Introduction Framework RNN Example Variants of RNN Jordan Network store output into memory Bidirectional RNN Long Short-term Memory LSTM Framework Relationship with original networkIntroduction假设我们想做一个
莫烦pytorch学习笔记（十二）——循环神经网络RNN（Recurrent Neural Network）
liuhongkai111的博客
08-03 1045
高级神经网络结构——循环神经网络RNN 序列数据 我们想象现在有一组序列数据 data 0,1,2,3. 在当预测 result0 的时候,我们基于的是 data0, 同样在预测其他数据的时候, 我们也都只单单基于单个的数据. 每次使用的神经网络都是同一个 NN. 不过这些数据是有关联 顺序的 , 就像在厨房做菜, 酱料 A要比酱料 B 早放, 不然就串味了. 所以普通的神经网络结构并不能让 ...
论文《Recurrent Convolutional Neural Networks for Text Classification》总结
热门推荐
rxt2012kc的博客
06-26 1万+
《Recurrent Convolutional Neural Networks for Text Classification》论文来源：Lai, S., Xu, L., Liu, K., & Zhao, J. (2015, January). Recurrent Convolutional Neural Networks for Text Classification. In AAAI (Vol
semi-supervised hierarchical recurrent graphneural network for city-wide par
最新发布
11-20
总的来说，semi-supervised hierarchical recurrent graph neural network for city-wide parameters modeling and prediction是一种适用于城市规划和管理的先进技术，可以帮助我们更好地理解和把握城市的发展和变化...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值