论文笔记（一）Document Modeling with Gated Recurrent Neural Network for Sentiment Classification

最新推荐文章于 2020-10-31 10:48:29 发布
最新推荐文章于 2020-10-31 10:48:29 发布
阅读量601 收藏
点赞数 1
分类专栏： 论文 文章标签： 论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chrils_Evens/article/details/97680727
版权

最近又读了一篇论文，讲的是如何捕获文档级别的文本情感（其实就是如何捕获句子之间的关系）

  1. 解决问题：解决的就是如何捕获句子之间的关系
  2. word-sentence
    word-sentence
    先将每个word编码成向量（skip模型）Wi，然后将每个单词的向量叠加成一个句子，接着采用三个不同的卷积核（length = 1，2，3）来对句子进行特征的提取，加池化层（主要是为了能够捕获全句的语义），激活层用Tanh，然后对求出的三个向量进行平均计算得到句子（sentence）的向量。
  3. sentence-doc

在这里插入图片描述
接下来就是每个句子如何得到整个文章的向量，这篇论文里面用的是GNN网络，分别用了两种方法（1）一种是将每个句子的向量送入，（有点类似于LSTM）通过每一层的计算得到整个文档的向量表达。
（2）另一种是将每个句子的向量送入GNN生成向量进行求和。
（3）使用双向GNN（bi-GNN）网络进行句子的向量计算

  1. detail
    每个word生成的是200维向量（Skip模型）
    学习率为0.03
    在文档级别的评审中有很多情感转移器(例如否定词或对比词)，而Tang等人(2014)通过给每个包含的 短语分配情感标签来学习。
    pool层是为了更好的提取句子的语义特征
    在语句建模方面LSTM优于CNN，标准的RNN效果是最差的,求平均和递归得到句子向量结果基本差不多
季白二九
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DocumentModeling with Convolutional-Gated Recurrent Neural Network for SentimentClassification
02-06
DocumentModeling with Convolutional-Gated Recurrent Neural Network for SentimentClassification
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification (EMNLP 2015)
qq_43658933的博客
03-15 391
基于门控循环神经网络的文本情感分类建模 Gated Recurrent Neural Network（Gated RNN）: ​    simple RNN 具有梯度消失或者梯度爆炸的特点，所以，在实际应用中，带有门限的RNN模型变种（Gated RNN）起着至关重要的作用 GRNN：广义回归神经网络 Abstract ​    引入了一个神经网络，以统一的，自底向上的方式来学习基于向量的文本表示方法。该模型首次使用CNN/LSTM来学习句
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification
westbrook_wang的博客
09-24 2137
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification 来源：（EMNLP2015）     Abstract & Introduction   在摘要和引言部分： 1、篇章级情感分析存在一个问题：如何对句间的内在语义关系编码？ 2、作者引入自底向上的基于向量的...
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification 论文阅读笔记
四个菜
05-17 1017
Paper: Document Modeling with Gated Recurrent Neural Network for Sentiment Classification Author: Duyu Tang, et al. Publication: 2015, EMNLP. 文章目录1 背景2 创新点3 核心方法3.1 句子表达3.2 文本表达3.3 情感分类4 实验4.1 实验设置4....
Hierarchical Attention Network for Document Classification阅读笔记
热门推荐
呜呜哈的博客
06-22 1万+
最近看了”Hierarchical Attention Network for Document Classification”一篇文章，也在网上找了一些资料结合理解，发现在此之前有篇文章跟他提出的模型架构基本相似，只不过不包含attention机制：“Document Modeling with Gated Recurrent Neural Network for Sentiment Class
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling rar
07-09
《Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling》这篇论文主要探讨了门控循环神经网络（Gated Recurrent Units, GRU）在序列建模中的应用与实证评估。GRU是循环神经网络...
论文研究-A Fault Diagnosis Modeling Method Combined RBF Neural Network with Rough Set Theory.pdf
08-20
基于神经网络和粗糙集的故障诊断模型，周柳阳，石玉文，为了提高诊断精度和减少错误的诊断，提出了一种基于粗糙集理论和RBF神经网络的故障诊断模型。首先，对数据进行预处理，形成故障诊
A Text Sentiment Classification Modeling Method Based on Coordinated CNN-LSTM-Attention Model
02-08
The major challenge that text sentiment classification modeling faces is how to capture the intrinsic semantic, emotional dependence information and the key part of the emotional expression of text....
【11】Fast and accurate recurrent neural network acoustic models
08-26
with connectionist temporal classification (CTC). In this paper, we present techniques that further improve performance of LSTM RNN acoustic models for large vocabulary speech recognition. We show ...
gated recurrent convolution neural network for ocr
11-29
Gated Recurrent Convolution Neural Network for OCR.这是一篇CNN解决OCR问题的论文，好像是发表在NIPS上的吧，忘了
Hierarchical Attention Networks for Document Classification论文阅读笔记
westbrook_wang的博客
09-24 1341
  Hierarchical Attention Networks for Document Classification （ACL2016）   动机 在分类任务中，句子中包含的每个词语相对于分类任务的重要性并不一样，比如在IMDB影评数据集中， like, amazing, terrible 这样的词语更能够决定句子的情感。一篇document也由多个句子组成，在篇章级别的分类时...
【论文阅读笔记】Document Modeling with Gated Recurrent Neural Network for Sentiment Classification
qq_49947461的博客
10-31 547
Document Modeling with Gated Recurrent Neural Network for Sentiment Classification 目录 introduction method experiments conclusion and future work introduction 篇章级情感分析存在一个问题：如何对句间的内在语义关系编码？ 针对这个问题： 本文提出了一种神经网络学习连续文档表示用于情绪分类的方法。该方法是基于组合性原则： 第一步，用Word2Vec实现词
学习DGCNN《Dilate Gated Convolutional Neural Network》记录
小岁月太着急
08-24 2950
模型介绍 DGCNN，全名为Dilate Gated Convolutional Neural Network，即“膨胀门卷积神经网络”，顾名思义，融合了两个比较新的卷积用法：膨胀卷积、门卷积，并增加了一些人工特征和trick，最终使得模型在轻、快的基础上达到最佳的效果。 模型结构 特点： 门机制： 模型中采用的卷积结构，来自FaceBook的《Convolutional Se...
深度学习课程笔记（十五）Recurrent Neural Network
a1424262219的博客
08-07 271
深度学习课程笔记（十五）Recurrent Neural Network 2018-08-0718:55:12 This video tutorial can be found from: Youtube Issue: 传统方法中，当你的训练数据中，没有那么丰富的 training data，那么可能会导致部分数据的预测为 0，如上图所示...
莫烦pytorch学习笔记（十二）——循环神经网络RNN（Recurrent Neural Network）
liuhongkai111的博客
08-03 1045
高级神经网络结构——循环神经网络RNN 序列数据 我们想象现在有一组序列数据 data 0,1,2,3. 在当预测 result0 的时候,我们基于的是 data0, 同样在预测其他数据的时候, 我们也都只单单基于单个的数据. 每次使用的神经网络都是同一个 NN. 不过这些数据是有关联 顺序的 , 就像在厨房做菜, 酱料 A要比酱料 B 早放, 不然就串味了. 所以普通的神经网络结构并不能让 ...
基于循环神经网络的主题模型
Ada
04-17 1万+
摘  要:      原有的主题模型是基于词袋模型的假设，很大程度上忽略单词的前后顺序或其主题连贯性。本文提出一个基于神经网络的话题生成模型，假定每个词的生成取决于句子中的历史单词，通过使用基于递归神经网络(RNN)的框架考虑句子中单词序列性，将句子的分布式表示作为神经网络模型的基本输入，通过将topic model与神经网络结合，利用周围单词的上下文关系来建模。实验结果表明，本文提出的LDA-L
Gated Recurrent Neural Networks
chinabing的专栏
04-21 2386
Gated Recurrent Neural Networks, GRU
句子分类
AlgoComp
04-14 3765
学习句子分类，使用深度学习的方法对句子数据集进行分类。 问题 句子分类（Sentence Classification）是指给定一个句子，标注预先设定的若干类别中的一个类别。 句子分类包括情感分析（Sentiment Analysis）、问题分类（Question Classification）等任务。情感分析又称倾向性分析、意见抽取（Opinion extraction）、意见挖掘（...
semi-supervised hierarchical recurrent graphneural network for city-wide par
最新发布
11-20
在城市规划和管理中，使用半监督式分层循环图神经网络（semi-supervised hierarchical recurrent graph neural network）对城市范围内的参数进行建模和预测是一种有效的方法。 首先，该网络结合了图神经网络的能力，可以有效地处理城市中大量的空间数据，并且能够捕捉数据之间的复杂关系。其次，通过分层和循环的设计，可以用于处理多层级的城市空间结构，并且能够考虑时间序列数据的变化和演化趋势。此外，采用半监督学习的方式，可以利用少量已知的标注数据，结合大量未标注数据，来建立模型和进行预测，从而提高了建模的效率和预测的准确性。 在城市规划中，这种方法可以应用于城市交通流量预测、城市空气质量监测、城市资源利用优化等方面。通过分析和预测这些参数，可以帮助城市管理者做出科学决策，提升城市的运行效率和市民的生活质量。 总的来说，semi-supervised hierarchical recurrent graph neural network for city-wide parameters modeling and prediction是一种适用于城市规划和管理的先进技术，可以帮助我们更好地理解和把握城市的发展和变化趋势，从而更好地提升城市的可持续发展水平。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值