深度学习计算模型中“门函数（Gating Function）”的作用

最新推荐文章于 2024-06-25 01:58:59 发布

张俊林博客

最新推荐文章于 2024-06-25 01:58:59 发布

阅读量5.2w

点赞数 55

分类专栏：自然语言处理深度学习文章标签：深度学习自然语言处理 LSTM RNN 门函数

本文链接：https://blog.csdn.net/malefactor/article/details/51183989

版权

门函数在深度学习中扮演重要角色，尤其在LSTM中，如遗忘门、输入门和输出门。它们通过类似现实生活中的门控制信息的流动，用以解决RNN的梯度消失问题。门控通过Sigmod函数控制信息的多少，例如，LSTM的状态更新和隐层节点输出都受到门控的影响。通过理解和类比，如家庭门控系统、水龙头和灯光调节器，有助于直观理解门函数的工作原理。

摘要由CSDN通过智能技术生成

author: 张俊林

看深度学习文献，门函数基本上已经是你必然会遇到的一个概念了，最典型的就是LSTM，首先上来你就得过得去“遗忘门”“输入门”“输出门”这三个门。门函数本身是个独立概念，不过LSTM使用多个门函数来组合出一个带有状态记忆的计算模型而已。随着LSTM大行其道，各种计算模型开始在计算过程中引入门函数的概念，相信这些论文你也没少看，其实这也是一种研究模式，比如你看看你手头的模型，想想能不能把门函数引进来？会不会有效？也许能走得通。

RNN概念非常直接简单很好理解，但是看到了LSTM，估计不少人会挠头。学习LSTM刚开始看模型一般都不太容易立马搞明白到底这是怎么回事？其实很重要的原因一个是一下子引入了三个门，太多，另外一个是把记忆状态存储单独独立出来，所以看上去整个逻辑很复杂，其实你要是把门函数到底在干嘛搞清楚，那么LSTM的计算逻辑是非常清晰直接好理解的，跟RNN在概念上其实是一样的。所以首先得搞明白“门函数”们到底在干什么事情。

|猪家的神经网络门控系统

既然叫做门，那么我们可以和现实生活中的门的作用进行类比，比如我们在家里安装门是干嘛的呢？是个控制人进出房间的控制设备，门打开了，那么人就能通过，门闭上了，那么人就过不去，被锁在门外了，门要是半开半闭呢，如果不进一步推门的情况下，如果你体积小，可以侧着身子蹭进去。门打不打得开，打开能打多大，这是由谁来决定的？是由门控设备来决定的。什么是门控呢？我们都听说过“小红帽和狼外婆”以及“三只小猪”的故事，是吧？如果忘了可以看看下面图片辅助回忆一下：