Mogrifier LSTM论文浅析

最新推荐文章于 2024-05-26 23:00:11 发布
最新推荐文章于 2024-05-26 23:00:11 发布
阅读量4.4k 收藏 31
点赞数 2
分类专栏： Pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44106928/article/details/104607813
版权

前言

LSTM模型是基于RNN循环网络提出的一种改进的门控网络
通过各个门很好地控制了时间步前后的信息
在这里插入图片描述
他一共有四个门，分别是遗忘门，输入门，候选记忆细胞，输出门
他能较好地建模长语义，缓解梯度消失的问题

问题提出

可以看到我们的输入x和隐藏状态H是相互独立的，理论上来说，当前输入应该是和前一时间步的隐藏状态有关，但是LSTM中只是将这两个进行运算，获得各个门的输出。

因此有研究者提出在进入各个门之前，输入和隐藏状态需要做一定的交互运算，而事实证明，这个简单的小改动，大大提升了LSTM的性能

这篇工作也被整理发布，叫Mogrifier LSTM
有兴趣的朋友可以去读一读
https://arxiv.org/pdf/1909.01792.pdf

整体结构

作者的这一思想朴素简单，就是在进入门之前对输入和隐藏状态做一定的张量运算

在这里插入图片描述
在这里插入图片描述
他定义了一个迭代轮数i，当i为奇数的时候执行第一个公式的运算，当i为偶数的时候执行第二个公式的运算。迭代完成后，就进入到传统的LSTM运算当中

这个迭代轮数在实验中是作为一个超参数，研究者可以根据任务不同自行调节

我这里也简单地画了一个图
在这里插入图片描述

代码实现

作者将这个工作整理成了一个jupyter notebook发布在了github上
https://github.com/RMichaelSwan/MogrifierLSTM/blob/master/MogrifierLSTM.ipynb

下面是我对代码做的一些注释

"""
https://github.com/RMichaelSwan/Mogrifier
最低0.47元/天 解锁文章
MarDino
关注
  • 2
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
一文搞懂Attention机制的诞生及发展（原理+代码）
Python，数据分析，机器学习，深度学习
12-21 2224
这个月初，我写过一篇博客，是关于共现网络的构建，之所以研究共现网络，就是想找寻词之间的关系，当然我之前的博客在决策树的时候也提到过信息熵和信息增益的概念，这些都是来衡量一个词的重要性。几个月前看了发表于2017年的经典论文《Attention Is All You Need》(NeurIPS2017) 论文地址：https://arxiv.org/abs/1706.03762，这是Google在NeurIPS2017发表的一篇文章，在CV、NLP、多模态等各个领域都有很大的影响力，目前引用量已经2.2w+
顶会速递 | ICLR 2020录用论文全集
热门推荐
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
Tensorflow2实现MogrifierLSTM分类
qq_49595983的博客
12-16 483
Mogrifier lstm
【论文复现】LSTM长短记忆网络
最新发布
weixin_73074012的博客
05-26 1193
LSTM作为经典模型，可以用来做语言模型，实现类似于语言模型的功能，同时还经常用于做时间序列。由于LSTM的原版论文相关版权问题，这里以colah大佬的博客为基础进行讲解。之前写过一篇Tensorflow中的LSTM详解，但是原理部分跟代码部分的联系并不紧密，实践性较强但是如果想要进行更加深入的调试就会出现原理性上面的问题，因此特此作文解决这个问题，想要用LSTM这个有趣的模型做出更加好的机器学习效果😊。# 定义单个LSTM单元# 定义单个LSTM单元。
论文笔记： MOGRIFIER LSTM
qq_40206371的博客
08-24 1154
2020 ICLR。
lstm原始论文_LSTM: A Search Space Odyssey 论文阅读笔记
weixin_39678493的博客
12-04 8275
论文研究目标（摘要、引言） 这篇论文研究LSTM各部件（遗忘门、输入门、输出门、激励函数等）在LSTM中起到了何种作用。论文作者借助大规模实验，利用声音识别、手写体字符识别、音乐识别（polyphonic music modeling）三项任务，评判vanilla LSTM及其八大变体的表现，借此找出LSTM各组件的作用。 需要注意等式，八大变体的每一个相对于vanilla LSTM都只有...
LSTM Networks 论文精读
Othnial的博客
09-13 709
Understanding LSTM Networks Posted on August 27, 2015 Recurrent Neural Networks Humans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw eve
【论文笔记】基于LSTM的问答对排序
zenRRan的博客
09-27 304
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要9分钟跟随小博主，每天进步一丢丢来自：专知【导读】本篇论文使用时间门同步学习文本对之间的语义特征，在 Quasi Recurrent...
在预测中使用LSTM架构的最新5篇论文推荐
deephub
04-24 3724
1、Integrating LSTMs and GNNs for COVID-19 Forecasting Nathan Sesti, Juan Jose Garau-Luis, Edward Crawley, Bruce Cameron 将COVID-19的传播与图神经网络（GNN）的结合，使得最近几项研究发现了可以更好地预测大流行的方式。许多这样的模型还包括长短期记忆（LSTM），这是时间序列预测的常见工具。通过在LSTM的门内实施GNN并利用空间信息来进一步研究这两种方法的集成。并且引入了跳过连接，该
MogrifierLSTM:在PyTorch中快速浏览LSTM的内幕和Mogrifier LSTM论文的简单实现
04-16
我使用Brown语料库数据集（在笔记本中有更多信息）在基本RNN文本预测问题上测试了Mogrifier LSTM，并将Mogrifier LSTM与普通LSTM进行比较时，看到了更早的收敛结果以及更好的验证和训练损失结果。 为了进一步验证...
AGC-LSTM 论文下载
08-30
AGC-LSTM 论文下载 本文主要介绍了一种新的深度学习模型 AGC-LSTM（Attention Enhanced Graph Convolutional LSTM Network），用于基于骨骼序列的人类动作识别。该模型通过将图卷积神经网络（Graph Convolutional ...
LSTM相关论文（中文加英文）
05-06
标题" LSTM相关论文（中文加英文）"表明这是一个关于长短期记忆网络（Long Short-Term Memory, LSTM）的研究论文集合，包含了中文和英文的文献。这通常意味着读者可以从这些论文中深入理解LSTM的工作原理、应用场景...
LSTM原文章
11-10
清晰版LSTM原文章
基于matlab实现BILSTM
04-14
2. **双向LSTM（Bi-directional LSTM）**: BILSTM在LSTM的基础上增加了反向流动的LSTM层，使得模型同时考虑当前时刻之前和之后的信息。这样可以捕获更丰富的上下文关系，尤其适用于处理如自然语言处理、语音识别等...
论文笔记：Tree-LSTM结构的三篇论文总结
MirrorN的博客
01-06 7775
对于序列数据而言，从最早的 RNN 结构单元，后来衍生出了 LSTM 以及 GRU 等等变种，这些变种单元的功能更好，并且有效解决了RNN的梯度消失/爆炸问题。对于树结构信息来说也是如此，2015年，三篇论文同时期提出了 Tree-LSTM 的结构，分别是： Compositional Distributional Semantics with Long Short Term Memory（Ph...
lstm论文_LSTM-BASED DEEP LEARNING&ANSWER SELECTION 论文学习
weixin_39791322的博客
12-04 639
LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION 论文学习这篇论文基于深度神经网络，任务是answer selection。以往的baseline是biLSTM分别提取question and answer表征，然后计算cosine相似度。本篇论文在此基础上进行了拓展，引进了CNN对q&a进行特征结合，根据que...
Multivariate LSTM-FCNs for Time Series Classification 论文学习记录
pengxiang1998的博客
09-20 1385
在过去的几十年里，多变量时间序列分类问题引起了广泛的关注。我们提出转换现存的单变量时间序列分类模型：长短期记忆全卷积神经网络和注意力LSTM-FCN，转换为多变量时间序列分类模型通过应用挤压-激励块到FCN中去提升准确性。我们提出的模型表现优于最先进的模型，同时需要最少的预处理。这提出的模型在各种复杂的多变量时间上有效工作实现分类任务，如活动识别或操作认可。此外，所提出的模型在测试时十分高效，并且足够小，可以在内存受限的系统上部署。
LSTM长短期记忆网络
weixin_50094312的博客
04-28 2320
长短期记忆网络 – Long short-term memory | LSTM 什么是 LSTM？ 长短期记忆网络——通常被称为 LSTM，是一种特殊的 RNN，能够学习长期依赖性。由 Hochreiter 和 Schmidhuber（1997）提出的，并且在接下来的工作中被许多人改进和推广。LSTM 在各种各样的问题上表现非常出色，现在被广泛使用。 LSTM 被明确设计用来避免长期依赖性问题。长时间记住信息实际上是 LSTM 的默认行为，而不是需要努力学习的东西！ 所有递归神经网络都具有神经网络的链式重
mogrifier lstm的python代码
07-23
以下是一个使用Mogrifier LSTM的简单示例代码： ```python import torch import torch.nn as nn class MogrifierLSTM(nn.Module): def __init__(self, input_size, hidden_size, num_layers): super...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值