RNN和LSTM的反向传播公式推导

最新推荐文章于 2024-07-16 17:08:07 发布
最新推荐文章于 2024-07-16 17:08:07 发布
阅读量696 收藏 8
点赞数 3
分类专栏： AI相关综述 文章标签： 神经网络 深度学习 lstm 循环神经网络 deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kuan__/article/details/117655104
版权

RNN和LSTM的反向传播公式推导

这篇博客主要推导RNN和LSTM的反向传播公式，以便更好的理解RNN和LSTM的运算

文章目录

一. RNN

1. RNN正向传播

h ~ t = W x t + U h t − 1 + b \widetilde h_{t}=Wx_{t}+Uh_{t-1}+b h t​=Wxt​+Uht−1​+b
h t = tanh ⁡ ( h ~ t ) h_{t}= \tanh(\widetilde h_{t}) ht​=tanh(h t​)

2. RNN梯度计算

设 t a n h ( x ) tanh(x) tanh(x)函数的导数为 t a n h ′ ( x ) tanh^{'}(x) tanh′(x)，则RNN中可训练参数的梯度为：

d h t d W = tanh ⁡ ′ ( h ~ t ) [ x t x t T + U T d h t − 1 d W ] \frac{\mathrm{d}h_{t}}{\mathrm{d}W}= \tanh^{'}(\widetilde h_{t})[x_{t}x^{T}_{t} + U^{T}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W}] dWdht​​=tanh′(h t​)[xt​xtT​+UTdWdht−1​​]

d h t d U = tanh ⁡ ′ ( h ~ t ) [ h t − 1 h t − 1 T + U T d h t − 1 d U ] \frac{\mathrm{d}h_{t}}{\mathrm{d}U}= \tanh^{'}(\widetilde h_{t})[h_{t-1}h^{T}_{t-1}+U^{T}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U}] dUdht​​=tanh′(h t​)[ht−1​ht−1T​+UTdUdht−1​​]

d h t d b = tanh ⁡ ′ ( h ~ t ) [ 1 + U T d h t − 1 d b ] \frac{\mathrm{d} h_{t}}{\mathrm{d} b}= \tanh^{'}(\widetilde h_{t})[1+U^{T}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b}] dbdht​​=tanh′(h t​)[1+UTdbdht−1​​]

其中：
d h 1 d W = tanh ⁡ ′ ( h ~ 1 ) [ x 1 x 1 T ] \frac{\mathrm{d}h_{1}}{\mathrm{d}W}= \tanh^{'}(\widetilde h_{1}) [x_{1}x^{T}_{1}] dWdh1​​=tanh′(h 1​)[x1​x1T​]

d h 1 d U = tanh ⁡ ′ ( h ~ 1 ) [ h 0 h 0 T ] \frac{\mathrm{d}h_{1}}{\mathrm{d}U}= \tanh^{'}(\widetilde h_{1}) [h_{0}h^{T}_{0}] dUdh1​​=tanh′(h 1​)[h0​h0T​]

d h 1 d b = tanh ⁡ ′ ( h ~ 1 ) \frac{\mathrm{d} h_{1}}{\mathrm{d} b}= \tanh^{'}(\widetilde h_{1}) dbdh1​​=tanh′(h 1​)

二. LSTM

1. LSTM正向传播

为了求导时方便书写，将LSTM写成如下形式：
i ~ t = W i x t + U i h t − 1 + b i \widetilde i_{t}=W^{i}x_{t}+U^{i}h_{t-1}+b^{i} i t​=Wixt​+Uiht−1​+bi
f ~ t = W f x t + U f h t − 1 + b f \widetilde f_{t}=W^{f}x_{t}+U^{f}h_{t-1}+b^{f} f ​t​=Wfxt​+Ufht−1​+bf
o ~ t = W o x t + U o h t − 1 + b o \widetilde o_{t}=W^{o}x_{t}+U^{o}h_{t-1}+b^{o} o t​=Woxt​+Uoht−1​+bo
g ~ t = W c x t + U c h t − 1 + b c \widetilde{g}_{t}=W^{c}x_{t}+U^{c}h_{t-1}+b^{c} g ​t​=Wcxt​+Ucht−1​+bc
i t = σ ( i ~ t ) i_{t} = \sigma(\widetilde i_{t}) it​=σ(i t​)
f t = σ ( f ~ t ) f_{t} = \sigma(\widetilde f_{t}) ft​=σ(f ​t​)
o t = σ ( o ~ t ) o_{t} = \sigma(\widetilde o_{t}) ot​=σ(o t​)
g t = σ ( g ~ t ) g_{t} = \sigma(\widetilde g_{t}) gt​=σ(g ​t​)
c t = f t ⊗ c t − 1 + i t ⊗ g t c_{t}=f_{t}\otimes c_{t-1}+i_{t}\otimes g_{t} ct​=ft​⊗ct−1​+it​⊗gt​
h t = o t ⊗ tanh ⁡ ( c t ) h_{t}=o_{t}\otimes \tanh(c_{t}) ht​=ot​⊗tanh(ct​)

2. LSTM反向传播

设 t a n h ( x ) tanh(x) tanh(x)函数的导数为 t a n h ′ ( x ) tanh^{'}(x) tanh′(x)， σ ( x ) \sigma(x) σ(x)函数的导数为 s i g m ′ ( x ) sigm^{'}(x) sigm′(x), 则LSTM中可训练参数的梯度为：

输入门：
d h t d W i = [ s i g m ′ ( o ~ t ) U o T d h t − 1 d W i ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d W i \frac{\mathrm{d}h_{t}}{\mathrm{d}W^{i}}= [sigm^{'}(\widetilde o_{t})U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{i}}]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}W^{i}} dWidht​​=[sigm′(o t​)UoTdWidht−1​​]tanh(ct​)+ot​tanh′(ct​)dWidct​​

d h t d U i = [ s i g m ′ ( o ~ t ) U o T d h t − 1 d U i ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d U i \frac{\mathrm{d}h_{t}}{\mathrm{d}U^{i}}= [sigm^{'}(\widetilde o_{t})U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{i}}]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}U^{i}} dUidht​​=[sigm′(o t​)UoTdUidht−1​​]tanh(ct​)+ot​tanh′(ct​)dUidct​​

d h t d b i = [ s i g m ′ ( o ~ t ) U o T d h t − 1 d b i ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d b i \frac{\mathrm{d}h_{t}}{\mathrm{d}b^{i}}= [sigm^{'}(\widetilde o_{t})U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{i}}]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}b^{i}} dbidht​​=[sigm′(o t​)UoTdbidht−1​​]tanh(ct​)+ot​tanh′(ct​)dbidct​​

遗忘门：
d h t d W f = [ s i g m ′ ( o ~ t ) U o T d h t − 1 d W f ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d W f \frac{\mathrm{d}h_{t}}{\mathrm{d}W^{f}}=[sigm^{'}(\widetilde o_{t})U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{f}}]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}W^{f}} dWfdht​​=[sigm′(o t​)UoTdWfdht−1​​]tanh(ct​)+ot​tanh′(ct​)dWfdct​​

d h t d U f = [ s i g m ′ ( o ~ t ) U o T d h t − 1 d U f ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d U f \frac{\mathrm{d}h_{t}}{\mathrm{d}U^{f}}=[sigm^{'}(\widetilde o_{t})U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{f}}]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}U^{f}} dUfdht​​=[sigm′(o t​)UoTdUfdht−1​​]tanh(ct​)+ot​tanh′(ct​)dUfdct​​

d h t d b f = [ s i g m ′ ( o ~ t ) U o T d h t − 1 d b f ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d b f \frac{\mathrm{d}h_{t}}{\mathrm{d}b^{f}}= [sigm^{'}(\widetilde o_{t})U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{f}}]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}b^{f}} dbfdht​​=[sigm′(o t​)UoTdbfdht−1​​]tanh(ct​)+ot​tanh′(ct​)dbfdct​​

候选记忆细胞：
d h t d W c = [ s i g m ′ ( o ~ t ) U o T d h t − 1 d W c ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d W c \frac{\mathrm{d}h_{t}}{\mathrm{d}W^{c}}=[sigm^{'}(\widetilde o_{t})U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{c}}]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}W^{c}} dWcdht​​=[sigm′(o t​)UoTdWcdht−1​​]tanh(ct​)+ot​tanh′(ct​)dWcdct​​

d h t d U c = [ s i g m ′ ( o ~ t ) U o T d h t − 1 d U c ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d U c \frac{\mathrm{d}h_{t}}{\mathrm{d}U^{c}}= [sigm^{'}(\widetilde o_{t})U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{c}}]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}U^{c}} dUcdht​​=[sigm′(o t​)UoTdUcdht−1​​]tanh(ct​)+ot​tanh′(ct​)dUcdct​​

d h t d b c = [ s i g m ′ ( o ~ t ) U o T d h t − 1 d b c ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d b c \frac{\mathrm{d}h_{t}}{\mathrm{d}b^{c}}= [sigm^{'}(\widetilde o_{t})U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{c}}]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}b^{c}} dbcdht​​=[sigm′(o t​)UoTdbcdht−1​​]tanh(ct​)+ot​tanh′(ct​)dbcdct​​

输出门：
d h t d W o = [ s i g m ′ ( o ~ t ) ( x t x t T + U o T d h t − 1 d W o ) ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d W o \frac{\mathrm{d}h_{t}}{\mathrm{d}W^{o}}=[sigm^{'}(\widetilde o_{t})(x_{t}x^{T}_{t} + U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{o}})]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}W^{o}} dWodht​​=[sigm′(o t​)(xt​xtT​+UoTdWodht−1​​)]tanh(ct​)+ot​tanh′(ct​)dWodct​​

d h t d U o = [ s i g m ′ ( o ~ t ) ( h t − 1 h t − 1 T + U o T d h t − 1 d U o ) ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d U o \frac{\mathrm{d}h_{t}}{\mathrm{d}U^{o}}=[sigm^{'}(\widetilde o_{t})(h_{t-1}h^{T}_{t-1} + U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{o}})]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}U^{o}} dUodht​​=[sigm′(o t​)(ht−1​ht−1T​+UoTdUodht−1​​)]tanh(ct​)+ot​tanh′(ct​)dUodct​​

d h t d b o = [ s i g m ′ ( o ~ t ) ( 1 + U o T d h t − 1 d b o ) ] tanh ⁡ ( c t ) + o t tanh ⁡ ′ ( c t ) d c t d b o \frac{\mathrm{d}h_{t}}{\mathrm{d}b^{o}}=[sigm^{'}(\widetilde o_{t})(1 +U^{o^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{o}})]\tanh(c_{t})+o_{t}\tanh^{'}(c_{t})\frac{\mathrm{d}c_{t}}{\mathrm{d}b^{o}} dbodht​​=[sigm′(o t​)(1+UoTdbodht−1​​)]tanh(ct​)+ot​tanh′(ct​)dbodct​​

以上公式都包含了 d c t \mathrm{d}c_{t} dct​，因此还需要对 d c t \mathrm{d}c_{t} dct​进行计算：

输入门：
d c t d W i = s i g m ′ ( i ~ t ) [ x t x t T + U i T d h t − 1 d W i ] g t + i t tanh ⁡ ′ ( g ~ t ) U c T d h t − 1 d W i + s i g m ′ ( f ~ t ) [ U f T d h t − 1 d W i ] c t − 1 + f t d c t − 1 d W i \frac{\mathrm{d}c_{t}}{\mathrm{d}W^{i}}= sigm^{'}(\widetilde i_{t})[x_{t}x^{T}_{t} + U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{i}}]g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{i}} + sigm^{'}(\widetilde f_{t})[U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{i}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}W^{i}} dWidct​​=sigm′(i t​)[xt​xtT​+UiTdWidht−1​​]gt​+it​tanh′(g ​t​)UcTdWidht−1​​+sigm′(f ​t​)[UfTdWidht−1​​]ct−1​+ft​dWidct−1​​

d c t d U i = s i g m ′ ( i ~ t ) [ h t − 1 h t − 1 T + U i T d h t − 1 d U i ] g t + i t tanh ⁡ ′ ( g ~ t ) U c T d h t − 1 d U i + s i g m ′ ( f ~ t ) [ U f T d h t − 1 d U i ] c t − 1 + f t d c t − 1 d U i \frac{\mathrm{d}c_{t}}{\mathrm{d}U^{i}}= sigm^{'}(\widetilde i_{t})[h_{t-1}h^{T}_{t-1} + U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{i}}]g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{i}} + sigm^{'}(\widetilde f_{t})[U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{i}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}U^{i}} dUidct​​=sigm′(i t​)[ht−1​ht−1T​+UiTdUidht−1​​]gt​+it​tanh′(g ​t​)UcTdUidht−1​​+sigm′(f ​t​)[UfTdUidht−1​​]ct−1​+ft​dUidct−1​​

d c t d b i = s i g m ′ ( i ~ t ) [ 1 + U i T d h t − 1 d b i ] g t + i t tanh ⁡ ′ ( g ~ t ) U c T d h t − 1 d b i + s i g m ′ ( f ~ t ) [ U f T d h t − 1 d b i ) ] c t − 1 + f t d c t − 1 d b i \frac{\mathrm{d}c_{t}}{\mathrm{d}b^{i}}= sigm^{'}(\widetilde i_{t})[1 + U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{i}}]g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{i}} + sigm^{'}(\widetilde f_{t})[U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{i}})]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}b^{i}} dbidct​​=sigm′(i t​)[1+UiTdbidht−1​​]gt​+it​tanh′(g ​t​)UcTdbidht−1​​+sigm′(f ​t​)[UfTdbidht−1​​)]ct−1​+ft​dbidct−1​​

遗忘门：
d c t d W f = s i g m ′ ( i ~ t ) U i T d h t − 1 d W f g t + i t tanh ⁡ ′ ( g ~ t ) U c T d h t − 1 d W f + s i g m ′ ( f ~ t ) [ x t x t T + U f T d h t − 1 d W f ] c t − 1 + f t d c t − 1 d W f \frac{\mathrm{d}c_{t}}{\mathrm{d}W^{f}}= sigm^{'}(\widetilde i_{t})U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{f}}g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{f}} + sigm^{'}(\widetilde f_{t})[x_{t}x^{T}_{t} + U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{f}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}W^{f}} dWfdct​​=sigm′(i t​)UiTdWfdht−1​​gt​+it​tanh′(g ​t​)UcTdWfdht−1​​+sigm′(f ​t​)[xt​xtT​+UfTdWfdht−1​​]ct−1​+ft​dWfdct−1​​

d c t d U f = s i g m ′ ( i ~ t ) U i T d h t − 1 d U f g t + i t tanh ⁡ ′ ( g ~ t ) U c T d h t − 1 d U f + s i g m ′ ( f ~ t ) [ h t − 1 h t − 1 T + U f T d h t − 1 d U f ] c t − 1 + f t d c t − 1 d U f \frac{\mathrm{d}c_{t}}{\mathrm{d}U^{f}}= sigm^{'}(\widetilde i_{t})U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{f}}g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{f}} + sigm^{'}(\widetilde f_{t})[h_{t-1}h^{T}_{t-1} + U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{f}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}U^{f}} dUfdct​​=sigm′(i t​)UiTdUfdht−1​​gt​+it​tanh′(g ​t​)UcTdUfdht−1​​+sigm′(f ​t​)[ht−1​ht−1T​+UfTdUfdht−1​​]ct−1​+ft​dUfdct−1​​

d c t d b f = s i g m ′ ( i ~ t ) U i T d h t − 1 d b f g t + i t tanh ⁡ ′ ( g ~ t ) U c T d h t − 1 d b f + s i g m ′ ( f ~ t ) [ 1 + U f T d h t − 1 d b f ] c t − 1 + f t d c t − 1 d b f \frac{\mathrm{d}c_{t}}{\mathrm{d}b^{f}}= sigm^{'}(\widetilde i_{t})U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{f}}g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{f}} + sigm^{'}(\widetilde f_{t})[1 + U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{f}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}b^{f}} dbfdct​​=sigm′(i t​)UiTdbfdht−1​​gt​+it​tanh′(g ​t​)UcTdbfdht−1​​+sigm′(f ​t​)[1+UfTdbfdht−1​​]ct−1​+ft​dbfdct−1​​

输出门：
d c t d W o = s i g m ′ ( i ~ t ) U i T d h t − 1 d W o g t + i t tanh ⁡ ′ ( g ~ t ) U c T d h t − 1 d W o + s i g m ′ ( f ~ t ) [ U f T d h t − 1 d W o ] c t − 1 + f t d c t − 1 d W o \frac{\mathrm{d}c_{t}}{\mathrm{d}W^{o}}= sigm^{'}(\widetilde i_{t})U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{o}}g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{o}} + sigm^{'}(\widetilde f_{t})[U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{o}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}W^{o}} dWodct​​=sigm′(i t​)UiTdWodht−1​​gt​+it​tanh′(g ​t​)UcTdWodht−1​​+sigm′(f ​t​)[UfTdWodht−1​​]ct−1​+ft​dWodct−1​​

d c t d U o = s i g m ′ ( i ~ t ) U i T d h t − 1 d U o g t + i t tanh ⁡ ′ ( g ~ t ) U c T d h t − 1 d U o + s i g m ′ ( f ~ t ) [ U f T d h t − 1 d U o ] c t − 1 + f t d c t − 1 d U o \frac{\mathrm{d}c_{t}}{\mathrm{d}U^{o}}= sigm^{'}(\widetilde i_{t})U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{o}}g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{o}} + sigm^{'}(\widetilde f_{t})[U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{o}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}U^{o}} dUodct​​=sigm′(i t​)UiTdUodht−1​​gt​+it​tanh′(g ​t​)UcTdUodht−1​​+sigm′(f ​t​)[UfTdUodht−1​​]ct−1​+ft​dUodct−1​​

d c t d b o = s i g m ′ ( i ~ t ) U i T d h t − 1 d b o g t + i t tanh ⁡ ′ ( g ~ t ) U c T d h t − 1 d b o + s i g m ′ ( f ~ t ) [ U f T d h t − 1 d b o ] c t − 1 + f t d c t − 1 d b o \frac{\mathrm{d}c_{t}}{\mathrm{d}b^{o}}= sigm^{'}(\widetilde i_{t})U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{o}}g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{o}} + sigm^{'}(\widetilde f_{t})[U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{o}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}b^{o}} dbodct​​=sigm′(i t​)UiTdbodht−1​​gt​+it​tanh′(g ​t​)UcTdbodht−1​​+sigm′(f ​t​)[UfTdbodht−1​​]ct−1​+ft​dbodct−1​​

候选记忆细胞：
d c t d W c = s i g m ′ ( i ~ t ) U i T d h t − 1 d W c g t + i t tanh ⁡ ′ ( g ~ t ) [ x t x t T + U c T d h t − 1 d W c ] + s i g m ′ ( f ~ t ) [ U f T d h t − 1 d W c ] c t − 1 + f t d c t − 1 d W c \frac{\mathrm{d}c_{t}}{\mathrm{d}W^{c}}= sigm^{'}(\widetilde i_{t})U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{c}}g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})[x_{t}x^{T}_{t}+U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{c}}] + sigm^{'}(\widetilde f_{t})[U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}W^{c}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}W^{c}} dWcdct​​=sigm′(i t​)UiTdWcdht−1​​gt​+it​tanh′(g ​t​)[xt​xtT​+UcTdWcdht−1​​]+sigm′(f ​t​)[UfTdWcdht−1​​]ct−1​+ft​dWcdct−1​​

d c t d U c = s i g m ′ ( i ~ t ) U i T d h t − 1 d U c g t + i t tanh ⁡ ′ ( g ~ t ) [ h t − 1 h t − 1 T + U c T d h t − 1 d U c ] + s i g m ′ ( f ~ t ) [ U f T d h t − 1 d U c ] c t − 1 + f t d c t − 1 d U c \frac{\mathrm{d}c_{t}}{\mathrm{d}U^{c}}= sigm^{'}(\widetilde i_{t})U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{c}}g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})[h_{t-1}h^{T}_{t-1}+U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{c}}] + sigm^{'}(\widetilde f_{t})[U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}U^{c}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}U^{c}} dUcdct​​=sigm′(i t​)UiTdUcdht−1​​gt​+it​tanh′(g ​t​)[ht−1​ht−1T​+UcTdUcdht−1​​]+sigm′(f ​t​)[UfTdUcdht−1​​]ct−1​+ft​dUcdct−1​​

d c t d b c = s i g m ′ ( i ~ t ) U i T d h t − 1 d b c g t + i t tanh ⁡ ′ ( g ~ t ) [ 1 + U c T d h t − 1 d b c ] + s i g m ′ ( f ~ t ) [ U f T d h t − 1 d b c ] c t − 1 + f t d c t − 1 d b c \frac{\mathrm{d}c_{t}}{\mathrm{d}b^{c}}= sigm^{'}(\widetilde i_{t})U^{i^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{c}}g_{t}+i_{t}\tanh^{'}(\widetilde g_{t})[1 +U^{c^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{c}}] + sigm^{'}(\widetilde f_{t})[U^{f^{T}}\frac{\mathrm{d}h_{t-1}}{\mathrm{d}b^{c}}]c_{t-1}+f_{t}\frac{\mathrm{d}c_{t-1}}{\mathrm{d}b^{c}} dbcdct​​=sigm′(i t​)UiTdbcdht−1​​gt​+it​tanh′(g ​t​)[1+UcTdbcdht−1​​]+sigm′(f ​t​)[UfTdbcdht−1​​]ct−1​+ft​dbcdct−1​​

最后就是他们的初始值了
输入门：

d c 1 d W i = g 1 [ x 1 x 1 T ] \frac{\mathrm{d}c_{1}}{\mathrm{d}W^{i}}= g_{1}[x_{1}x^{T}_{1}] dWidc1​​=g1​[x1​x1T​]

d c 1 d U i = g 1 [ h 0 h 0 T ] \frac{\mathrm{d}c_{1}}{\mathrm{d}U^{i}}= g_{1}[h_{0}h^{T}_{0}] dUidc1​​=g1​[h0​h0T​]

d c 1 d b i = g 1 \frac{\mathrm{d}c_{1}}{\mathrm{d}b^{i}}= g_{1} dbidc1​​=g1​

d h 1 d W i = o 1 tanh ⁡ ′ ( c 1 ) d c 1 d W i \frac{\mathrm{d}h_{1}}{\mathrm{d}W^{i}}= o_{1}\tanh^{'}(c_{1})\frac{\mathrm{d}c_{1}}{\mathrm{d}W^{i}} dWidh1​​=o1​tanh′(c1​)dWidc1​​
d h 1 d U i = o 1 tanh ⁡ ′ ( c 1 ) d c 1 d U i \frac{\mathrm{d}h_{1}}{\mathrm{d}U^{i}}= o_{1}\tanh^{'}(c_{1})\frac{\mathrm{d}c_{1}}{\mathrm{d}U^{i}} dUidh1​​=o1​tanh′(c1​)dUidc1​​
d h 1 d b i = o 1 tanh ⁡ ′ ( c 1 ) d c 1 d b i \frac{\mathrm{d}h_{1}}{\mathrm{d}b^{i}}= o_{1}\tanh^{'}(c_{1})\frac{\mathrm{d}c_{1}}{\mathrm{d}b^{i}} dbidh1​​=o1​tanh′(c1​)dbidc1​​

遗忘门：

d c 1 d W f = c 0 [ x 1 x 1 T ] \frac{\mathrm{d}c_{1}}{\mathrm{d}W^{f}}= c_{0}[x_{1}x^{T}_{1}] dWfdc1​​=c0​[x1​x1T​]

d c 1 d U f = c 0 [ h 0 h 0 T ] \frac{\mathrm{d}c_{1}}{\mathrm{d}U^{f}}= c_{0}[h_{0}h^{T}_{0}] dUfdc1​​=c0​[h0​h0T​]

d c 1 d b f = c 0 \frac{\mathrm{d}c_{1}}{\mathrm{d}b^{f}}= c_{0} dbfdc1​​=c0​

d h 1 d W f = o 1 tanh ⁡ ′ ( c 1 ) d c 1 d W f \frac{\mathrm{d}h_{1}}{\mathrm{d}W^{f}}= o_{1}\tanh^{'}(c_{1})\frac{\mathrm{d}c_{1}}{\mathrm{d}W^{f}} dWfdh1​​=o1​tanh′(c1​)dWfdc1​​
d h 1 d U f = o 1 tanh ⁡ ′ ( c 1 ) d c 1 d U f \frac{\mathrm{d}h_{1}}{\mathrm{d}U^{f}}= o_{1}\tanh^{'}(c_{1})\frac{\mathrm{d}c_{1}}{\mathrm{d}U^{f}} dUfdh1​​=o1​tanh′(c1​)dUfdc1​​
d h 1 d b f = o 1 tanh ⁡ ′ ( c 1 ) d c 1 d b f \frac{\mathrm{d}h_{1}}{\mathrm{d}b^{f}}= o_{1}\tanh^{'}(c_{1})\frac{\mathrm{d}c_{1}}{\mathrm{d}b^{f}} dbfdh1​​=o1​tanh′(c1​)dbfdc1​​

输出门：

d c 1 d W o = 0 \frac{\mathrm{d}c_{1}}{\mathrm{d}W^{o}}= 0 dWodc1​​=0

d c 1 d U o = 0 \frac{\mathrm{d}c_{1}}{\mathrm{d}U^{o}}= 0 dUodc1​​=0

d c 1 d b o = 0 \frac{\mathrm{d}c_{1}}{\mathrm{d}b^{o}}= 0 dbodc1​​=0

d h 1 d W o = s i g m ′ ( o ~ 1 ) [ x 1 x 1 T ] tanh ⁡ ( c 1 ) \frac{\mathrm{d}h_{1}}{\mathrm{d}W^{o}}= sigm^{'}(\widetilde o_{1})[x_{1}x^{T}_{1}]\tanh(c_{1}) dWodh1​​=sigm′(o 1​)[x1​x1T​]tanh(c1​)

d h 1 d U o = s i g m ′ ( o ~ 1 ) [ h 0 h 0 T ] tanh ⁡ ( c 1 ) \frac{\mathrm{d}h_{1}}{\mathrm{d}U^{o}}= sigm^{'}(\widetilde o_{1})[h _{0}h^{T}_{0}]\tanh(c_{1}) dUodh1​​=sigm′(o 1​)[h0​h0T​]tanh(c1​)

d h 1 d b o = s i g m ′ ( o ~ 1 ) tanh ⁡ ( c 1 ) \frac{\mathrm{d}h_{1}}{\mathrm{d}b^{o}}= sigm^{'}(\widetilde o_{1})\tanh(c_{1}) dbodh1​​=sigm′(o 1​)tanh(c1​)

候选记忆细胞：

d c 1 d W c = i 1 tanh ⁡ ′ ( g ~ 1 ) [ x 1 x 1 T ] \frac{\mathrm{d}c_{1}}{\mathrm{d}W^{c}}= i_{1}\tanh^{'}(\widetilde g_{1})[x_{1}x^{T}_{1}] dWcdc1​​=i1​tanh′(g ​1​)[x1​x1T​]

d c 1 d U c = i 1 tanh ⁡ ′ ( g ~ 1 ) [ h 0 h 0 T ] \frac{\mathrm{d}c_{1}}{\mathrm{d}U^{c}}= i_{1}\tanh^{'}(\widetilde g_{1})[h_{0}h^{T}_{0}] dUcdc1​​=i1​tanh′(g ​1​)[h0​h0T​]

d c 1 d b c = i 1 tanh ⁡ ′ ( g ~ 1 ) \frac{\mathrm{d}c_{1}}{\mathrm{d}b^{c}}= i_{1}\tanh^{'}(\widetilde g_{1}) dbcdc1​​=i1​tanh′(g ​1​)

d h 1 d W c = o 1 tanh ⁡ ′ ( c 1 ) d c 1 d W c \frac{\mathrm{d}h_{1}}{\mathrm{d}W^{c}}= o_{1}\tanh^{'}(c_{1})\frac{\mathrm{d}c_{1}}{\mathrm{d}W^{c}} dWcdh1​​=o1​tanh′(c1​)dWcdc1​​

d h 1 d U c = o 1 tanh ⁡ ′ ( c 1 ) d c 1 d U c \frac{\mathrm{d}h_{1}}{\mathrm{d}U^{c}}= o_{1}\tanh^{'}(c_{1})\frac{\mathrm{d}c_{1}}{\mathrm{d}U^{c}} dUcdh1​​=o1​tanh′(c1​)dUcdc1​​

d h 1 d b c = o 1 tanh ⁡ ′ ( c 1 ) d c 1 d b c \frac{\mathrm{d}h_{1}}{\mathrm{d}b^{c}}= o_{1}\tanh^{'}(c_{1})\frac{\mathrm{d}c_{1}}{\mathrm{d}b^{c}} dbcdh1​​=o1​tanh′(c1​)dbcdc1​​

总结

ok，到这里反向传播的导数公式就全部推导结束，都是用的链式求导法则。如果有算错的，欢迎指正。

皮皮宽
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
RNN、GRU和LSTM前向传播和反向传播的公式
信道者
03-08 4499
三种RNN网络的数学表示
RNN反向传播公式推导.pdf
10-06
RNN反向传播公式推导 本文档详细推导了 RNN 反向传播公式，涵盖了模型的前向传播、损失函数、反向传播更新...本文档提供了 RNN 反向传播公式的详细推导和解释，为读者提供了深入理解 RNN 模型和反向传播算法的基础。
（二）RNN 的 反向传播算法详细推导
大风车
09-27 5614
在反向传播算法理解一文中，大体讲了反向传播算法的大体思想和优势，这篇文章拿最简单的RNN网络推导反向传播算法。 计算图和计算公式 我们拿最具代表性的如下RNN网络图简单推导。 上图是一张计算图。为方便公式推导，我们把公式写出来。对于每一步 t ，都是如下的计算过程。 每一步的损失函数，总的损失函数 L 如下： 在每一步 t 中，是向量形式变量，是向量形式变量，是向量形式变量，是向量形式变量，是向量形式变量；W 是矩阵形式变量，V 是矩阵形式变量，U 是矩阵形式变量（注...
RNN的反向传播算法（Backpropagation）
子燕若水的博客
12-08 366
英文详细解析：https://neptune.ai/blog/understanding-gradient-clipping-and-how-it-can-fix-exploding-gradients-problem
RNN的时间反向传播原理
qq_41775769的博客
12-05 2324
RNN的时间反向传播原理   本节将介绍循环神经网络中梯度的计算和存储方法，即通过时间反向传播（back-propagation through time）。正向传播在循环神经网络中比较直观，而通过时间反向传播其实是反向传播在循环神经网络中的具体应用。我们需要将循环神经网络按时间步展开，从而得到模型变量和参数之间的依赖关系，并依据链式求导法则应用反向传播计算并存储梯度。 1. 定义模型 简单起见，我们考虑一个无偏置项的循环神经网络，且激活函数简化为恒等映射 ϕ(x)=x\phi(x)=xϕ(x)=x。设时间
详解 LSTM（转）
niujin1212的专栏
02-26 846
今天的内容有： LSTM 思路 LSTM 的前向计算 LSTM 的反向传播 关于调参 LSTM 长短时记忆网络(Long Short Term Memory Network, LSTM)，是一种改进之后的循环神经网络，可以解决RNN无法处理长距离的依赖的问题，目前比较流行。 长短时记忆网络的思路： 原始 RNN 的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 再增加一个状态，...
LSTM反向传播详解Part1
csuyhb的博客
08-14 4440
1.LSTM的结构（本文啥也没讲） STM的介绍就不多讲了，直接附上链接： LSTM网络结构 https://www.cnblogs.com/mfryf/p/7904017.html 中文版本 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 英文版本 2.LSTM学中个人思考过的问题 （1）ht和Ct维度相同？ 维度是...
深度学习之RNN、LSTM及正向反向传播原理
01-06
RNN通过反向传播和记忆机制，能够处理任意长度的序列，在架构上比前馈神经网络更符合生物神经网络的结构，它的产生也正是为了解决这类问题而应用而生的。  RNN及改进的LSTM等深度学习模型都是基于神经网络而发展的...
LSTM反向传播代码实现（通过tensorflow和自编写代码实现）
08-30
本项目着重于LSTM的反向传播算法的实现，旨在帮助读者深入理解其工作原理和计算过程。** 首先，我们来探讨LSTM的基本结构。LSTM由输入门、遗忘门、输出门和一个称为单元状态的可持久化记忆单元组成。这些门控制着...
RNN和LSTM介绍1
08-08
循环神经网络（RNN）和长短期记忆网络（LSTM）是深度学习中用于处理序列数据的关键模型，尤其在自然语言处理领域应用广泛。本文将详细介绍这两种模型的工作原理，以及它们在处理长期依赖问题上的差异。 **一、RNN...
RNN-LSTM卷积神经网络Matlab实现
12-10
RNN-LSTM的主要组成部分包括输入门、遗忘门、细胞状态和输出门。每个门都有其特定的作用，如输入门控制新信息的流入，遗忘门决定旧信息的丢弃，细胞状态负责存储长期信息，输出门则决定当前时间步的输出。 在Matlab...
LSTM（长短期记忆）网络的算法介绍及数学推导
m0_49963403的博客
03-04 2436
LSTM的算法推导
LSTM的前向和反向传播
qq_39691463的博客
01-24 4249
一：LSTM结构 （一）结构剖析 lstm结构：三个门的特殊结构。lstm靠一些门的结构，让信息有选择性的影响循环神经网络中每个 时刻的状态。所谓的门的结构，就是一个使用sigmoid神经网络和一个按位做乘法的操作。这两个操作结合在一起，就是一个门的结构。之所以称为门的结构，是因为sigmoid 作为激活函数的全连接神经网络，输出结果为0到1之间的数值，他就能描述当前有多少信息可以通过这个结构。因此类似一道门。 从上图我们可以看出lstm除了隐藏状态h(t)以外，还多了一个隐藏状态C(t)，如
长短期记忆（LSTM）详解
tt丫的博客
01-23 1万+
​ 目录 一、背景 二、原理 三、总结 四、LSTM的优缺点 五、LSTM代码实现 一、背景 当时间步数(T)较大或时间步(t)较小的时候，RNN的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但是无法解决梯度衰减的问题。这个原因使得RNN在实际中难以捕捉时间序列中时间步(t)距离较大的依赖关系。因此LSTM应运而生。 RNN详解可以看看：RNN循环神经网络_tt丫的博客-CSDN博客_rnn应用领域 二、原
LSTM详解 反向传播公式推导
热门推荐
MrTriste的博客
02-08 2万+
部分参考： http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 1. 结构 1.1 比较 RNN： LSTM： 其中的notation： 1.2 核心思想： LSTM在原来的隐藏层上增加了一个 The key to LSTMs is the cell state, the horizont...
RNN中的的反向传播推导（通俗版）
村民的菜篮子
07-01 1万+
反向传播其实就是链式求导法则的重复使用，链式法则其实就是先计算外层函数的导数，再计算内层函数的导数，一直重复。误差反向传播的过程，就是层层求导的过程。在看RNN的反向传播之前，先看看简单网络的反向传播。 1、反向传播，链式求导 看一个小例子，如下图所示，其中f函数由x,y,z三种变量的组合来决定，x和y并不是直接和f相连。假设，x+y用q来表示，作为中间结果q=x+y。首先来看一下前向传播过程...
LSTM反向传播公式推导
weixin_52100611的博客
08-01 2561
1、正向传播 LSTM的正向传播公式： 由于传播过程比较复杂，我们画一个计算草图来反映时间步t的正向传播中，各个量的关系： 计算图中红色部分不属于时间步t，而是属于时间步t+1，把这几个红色的计算加入以后，可以更清晰的看到，的值会传播到两个位置（即在时间步t的正向传播中，传递到，在时间步t+1的正向传播中，传递到；而的值会传播到5个位置（即时间步t的正向传播中，传递到,在时间步t+1的正向传播中，传递到、、和）。这对于理解反向传播中、的导数从何而来非常重要，在...
神经网络的常用激活函数
最新发布
忘三日的博客
07-16 359
神经网络的常用激活函数
rnn反向传播详细推导
09-02
RNN（循环神经网络）是一种能够处理...总结起来，RNN的反向传播算法通过自循环的方式将梯度从当前时刻传递到前一时刻，并利用当前时刻和前一时刻的梯度来计算参数的梯度，然后通过梯度下降法来更新参数，从而优化模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

皮皮宽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值