Gating mechanisms

最新推荐文章于 2025-02-10 10:45:06 发布
最新推荐文章于 2025-02-10 10:45:06 发布
阅读量5.4k 收藏 13
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AAliuxiaolei/article/details/118812669
版权

0：前话：简单介绍RNN，LSTM,

RNN即循环神经网络，即相比于其他神经网络可以数据进行有序学习，对先前的事件进行记忆，从而可以处理一些序列化的任务，例如文本、视频等。但这样做，对于一些需要‘长期记忆’的事情，在反向传播的时候常常会出现梯度消失或者梯度爆炸情况。在LSTM中则使用门控机制，解决这个问题。但由于参数太多，导致训练比较麻烦，则产生了GRU。
在这里插入图片描述

1：什么是Gating mechanisms？

门控其实就是通过门控制信息通过的多少。门控单元可以选择性记忆它认为重要的东西，这也和后续出现的注意力机制有着一定的相似之处。其允许给定的输入特征X和值在0和1之间的门向量之间进行相乘，得到结果。

2：Gating mechanisms的作用

在门控的经典用法中当属LSTM。在记忆单元中，如果选择全部记忆信息，则会出现很多信息是多余或者错误的。在LSTM中：

  • Xt作为当前的输入
  • h^t-1 表示上一个传递状态
  • Z^f通过上一个学习的状态，选择遗忘上一个阶段的一些知识。通过拼接上一状态和当前输入乘上权重W，通过激活函数变成0 1，则可以达到遗忘某些知识的目的。
  • Z^i 同理，达到选择性记忆当前输入的一些目的。
  • Z^o同理，达到选择性输出给下一个状态的目的。
  • Z 使用tanh函数将其转化为-1 1的信息。
  • C^t 作为当前记忆等于遗忘门控 *上一阶段的记忆+记忆门控 * 当前信息。
  • h^t 当前的状态 = 上一个输出状态* 当前的记忆信息。

在这里插入图片描述
在这里插入图片描述
使用这些门控单元，则可以达到选择性记忆的效果，获取到更多有价值的信息，这也就是门控机制的原理。

3：参考资料

https://zhuanlan.zhihu.com/p/30844905

https://zhuanlan.zhihu.com/p/32085405

Hochreiter, Sepp, and Jürgen Schmidhuber. “Long short-term memory.” Neural computation 9.8 (1997): 1735-1780.

AAliuxiaolei
关注
Dropout as an Implicit Gating Mechanism For Continual Learning
null_zhao的博客
06-29 690
Dropout as an Implicit Gating Mechanism For Continual Learning 来自CVPR2020 workshop，Deepmind和华盛顿州立大学。搜了下发现此外还有三个华盛顿大学，这是综合排名最低的一个... 早有研究发现，dropout后的网络，在类增量学习中，会遗忘地慢一些，然而对此并没有清晰的解释。本文研究了dropout和遗忘的关系，认为dropout相当于一个隐式的门机制，会给网络带来稳定性，这就是防止遗忘的关键。 用门机制来做CL的
AAAI2024论文合集解读Enhancing the Robustness of Spiking Neural Networks with Stochastic Gating Mechanisms
paixiaoxin的博客
02-21 323
本文提出了一种基于随机门控机制的脉冲神经网络（SNN）模型，旨在提高其对抗性攻击和噪声扰动的鲁棒性。尽管SNN在计算效率上具有优势，但在面对对抗性攻击时仍然表现出脆弱性。通过引入随机性，本文的门控模型被视为一种正则化器，能够防止在攻击下的误差放大。实验结果表明，该方法不仅可以单独使用，还可以与现有的鲁棒性增强算法结合使用，从而提高SNN的鲁棒性并降低能耗。本文的研究为理解随机性在SNN计算中的作用提供了新的视角。
什么是MoE？
学习与分享人工智能技术
12-09 4168
本文详细介绍了混合专家模型MoE的概念及结构，并给出了python实现MoE网络进行红酒数据集分类的示例。
深度学习中的门控机制详解
handsomeboysk的博客
02-10 3674
门控（Gating）可以理解为一个。
门控机制（Gating Mechanism）
Hilda121的博客
06-06 6439
门控机制（Gating Mechanism）是一种在神经网络中特别用于控制信息流动的技术，广泛应用于递归神经网络（RNN）及其变体（如LSTM和GRU）。为了形象地解释门控机制模型，我们可以用一个日常生活中的例子来帮助理解。
注意力机制
年少的勇气已经用完，剩下的就是三思而后行
06-08 711
当要记住更多的“信息”时，模型变得更复杂，然而目前计算能力依然是限制神经网络发展的瓶颈。虽然局部连接，权重共享以及池化等优化操作可以让神经网络变得简单一些，有效缓解模型复杂度和表达能力之间的矛盾；但是，如循环神经网络（RNN）中的长距离依赖问题，信息“记忆”能力并不高。因此，人们参照人脑处理信息过载的方式 ，例如注意力机制可以提高神经网络处理信息的能力。当用神经网络来处理大量的输入信息时，也可以借鉴人脑的注意力机制，只选择一些关键的信息输入进行处理，来提高神经网络的效率。按照认知神经学中的注意力，可以总体上
注意力机制 ——学习笔记
liu1073811240的博客
12-06 1911
文章目录一、生物神经网络的注意力1.1 生物注意力的种类视觉注意力听觉注意力语言注意力1.2 生物注意力的优势1.3 注意力与记忆力的关系1.4 人工神经网络的注意力二、为什么要使用注意力？2.1 从算力的角度分析2.2 从算法角度分析三、注意力的种类3.1 普通注意力3.2 自注意力3.3 单头（自）注意力3.4 多头（自）注意力四、注意力的位置4.1 注意力和模型分离4.2 注意力和模型一体五、注意力的模型自然语义方向视觉方向六、注意力的应用七：SEQ2SEQ注意力机制 一、生物神经网络的注意力 1
每日一篇小论文 ---- DNN Embeddings with Gating Mechanisms for Text-Independent Speaker Verification
simsimiztz的博客
04-26 461
@每日一篇小论文----arXiv:1903.12092v2 DNN Embeddings with Gate Mechanism 在本文中，门控机制应用于基于x-vector的文本独立说话人验证的深度神经网络（DNN）训练。 首先，采用门控卷积神经网络（GCNN）对帧级嵌入层进行建模。 与时延DNN（TDNN）相比，GCNN可以通过精心设计的存储单元和门控机制获得更具表现力的帧级表示。 此外，我...
No fault on Q-gating
最新发布
03-11
In IT systems, particularly within networked environments and communication protocols, q-gating (queue gating) refers to mechanisms that control data flow between different parts of a system....
浅层LSTM改进HAR的深度学习
12-05
比如，通过引入跳跃连接（skip-connections）和门控机制（gating mechanisms），可以有效缓解梯度消失问题，增强网络训练过程中的稳定性和效率。 此外，改进的浅层LSTM网络在HAR任务中，还常常结合多层感知机（MLP...
时间序列预测实战时间序列预测实战
07-16
GRU通过门控机制（gating mechanisms）来控制信息的流动，包括重置门（reset gate）和更新门（update gate），使得模型能更好地捕捉长期依赖关系。 在"工作表1.csv"中，很可能包含了我们需要预测的时间序列数据。这...
2020 ||门控通道注意力机制Gated Channel Transformation
qq_51302564的博客
04-16 1万+
Gated Channel Transformation for Visual Recognition 论文链接: https://arxiv.org/abs/1909.11519 代码地址: https://github.com/z-x-yang/GCT CSDN（这个是详细的解说）：https://blog.csdn.net/weixin_47196664/article/details/108414207?ops_request_misc=&request_id=&biz_id=102
《Squeeze-and-Excitation Networks》SE-Net通道注意力机制
qq_38109282的博客
09-16 2966
前言 在阅读了一系列Activation Funtion论文之后,其中Dynamic Relu的论文提到了基于注意力机制的网络,因此先来看看经典的SE-Net的原理 Introduction 对于CNN,卷积核在局部感受野中将空间和通道信息融合得到信息组合.通过堆叠一系列非线性交错的卷积层和下采样,CNN能够获取具有全局感受野的分层模式，作为强大的图像描述。 最近的研究表明，网络的性能可以通过显式嵌入学习机制来提高，这有助于捕获空间相关性，而无需需要额外的监督。其中一种方法是由Inception推广的，这表
深度探索：机器学习门控循环单元 (GRU)算法原理及其应用
qq_51320133的博客
04-11 8813
门控循环单元（GRU）作为一种有效的序列建模工具，凭借其独特的门控设计成功克服了传统RNN在处理长序列数据时的局限性。其简洁高效的架构、优良的性能表现使其在自然语言处理、语音识别、时间序列预测等诸多领域得到了广泛应用。尽管面临模型解释性、超参数敏感性等问题，但通过结合正则化技术、深度学习框架的优化以及硬件加速，GRU在实际应用中依然展现出了强大的竞争力。 展望未来，随着计算资源的增长和深度学习理论的发展，GRU可能会进一步融入更先进的模型结构或训练策略。同时，针对特定任务或数据类型的定制化GRU变种，以及
【深度学习笔记】6_7 门控循环单元（GRU）
RIKI_1
03-09 1870
下面的代码定义隐藏状态初始化函数。同6.4节（循环神经网络的从零开始实现）中定义的函数一样，它返回由一个形状为(批量大小, 隐藏单元个数)的值为0的Tensor组成的元组。下面根据门控循环单元的计算表达式定义模型。H, = state。
闸门机制（Gate Mechanism）
weixin_34293902的博客
06-21 1107
本系列文章由 @yhl_leo 出品，转载请注明出处。 文章链接： http://blog.csdn.net/yhl_leo/article/details/51728107 神经网络中常说的闸门机制（Gate Mechanism）或者闸门理论（Gate Theory）源自 Gate Control Theory of Pain，大致原理如下： Gate ...
一文看懂 Bahdanau 和 Luong 两种 Attention 机制的区别
bbbeoy的专栏
08-23 770
https://zhuanlan.zhihu.com/p/129316415 参考： Neural Machine Translation by Jointly Learning to Align and Translate Effective Approaches to Attention-based Neural Machine Translation Attention Variants BahdanauAttention与LuongAttention注意力机制简介-CSDN..
深度学习计算模型中“门函数（Gating Function）”的作用
热门推荐
张俊林的博客
04-21 5万+
本文通俗易懂地介绍了深度学习中“门函数”的主要作用及其在LSTM中是如何组合使用的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值