「深度学习」长短时记忆网络LSTM

一、经典模型

\widetilde{c}^{<t>} = tanh(w_{c}[a^{<t-1>},x^{<t>}]+b_{c})

• 更新门：\Gamma_{u} = \sigma(w_{u}[a^{<t-1>},x^{<t>}]+b_{u})

• 遗忘门：\Gamma_{f} = \sigma(w_{f}[a^{<t-1>},x^{<t>}]+b_{f})

• 输出门：\Gamma_{o} = \sigma(w_{o}[a^{<t-1>},x^{<t>}]+b_{o})

c^{<t>} = \Gamma_{u}*\widetilde{c}^{<t>} + \Gamma_{f}*\widetilde{c}^{<t-1>}​

a^{<t>} = \Gamma_{o} * tanh(c^{<t>})

二、窥视孔连接

c^{<t-1>} 也能影响门的值：

\Gamma_{u} = \sigma(w_{u}[a^{<t-1>},x^{<t>},c^{<t-1>}]+b_{u})

\Gamma_{f} = \sigma(w_{f}[a^{<t-1>},x^{<t>},c^{<t-1>}]+b_{f})

\Gamma_{o} = \sigma(w_{o}[a^{<t-1>},x^{<t>},c^{<t-1>}]+b_{o})​

三、vs GRU

GUR 相关内容见上一篇博客

GRU 是更简单的模型，只有两个门，运行快，更容易建立大的网络

LSTM 更加强大和灵活 —— 作为默认选择