深度学习-链式求导

链式法则是微积分中的求导法则,用于求一个复合函数的导数
假设 a , b , c , d , e a,b,c,d,e abcde 存在下面的关系:

a + b = c b + 1 = d c × d = e a+b=c \\ b+1=d \\ c\times d=e a+b=cb+1=dc×d=e

假设
a = 2 , b = 1 a=2,b=1 a=2b=1

那么
c = a + b = 3 d = b + 1 = 2 c=a+b=3\\d=b+1=2 c=a+b=3d=b+1=2

逐级求导:
∂ c ∂ a = 1 , ∂ c ∂ b = 1 \frac{\partial c}{\partial a}=1, \frac{\partial c}{\partial b}=1 ac=1bc=1

∂ d ∂ b = 1 \frac{\partial d}{\partial b}=1 bd=1

∂ e ∂ c = d = 2 , ∂ e ∂ d = c = 3 \frac{\partial e}{\partial c}=d=2, \frac{\partial e}{\partial d}=c=3 ce=d=2de=c=3

图示如下:

链式求导:
∂ e ∂ a = ∂ e ∂ c ∂ c ∂ a = 2 × 1 = 2 \frac{\partial e}{\partial a}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial a}=2 \times 1=2 ae=ceac=2×1=2

∂ e ∂ b = ∂ e ∂ c ∂ c ∂ b + ∂ e ∂ d ∂ d ∂ b = 2 × 1 + 3 × 1 = 5 \frac{\partial e}{\partial b}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial b}+\frac{\partial e}{\partial d}\frac{\partial d}{\partial b}=2\times1+3\times1=5 be=cebc+debd=2×1+3×1=5

验证:
e = c × d = ( a + b ) × ( b + 1 ) = a b + b 2 + a + b \begin{aligned}e &=c\times d \\ &=(a+b)\times(b+1) \\ &=ab+b^2+a+b \end{aligned} e=c×d=(a+b)×(b+1)=ab+b2+a+b

∂ e ∂ a = b + 1 = 1 + 1 = 2 \frac{\partial e}{\partial a}=b+1=1+1=2 ae=b+1=1+1=2

∂ e ∂ b = a + 2 b + 1 = 2 + 2 × 1 + 1 = 5 \frac{\partial e}{\partial b}=a+2b+1=2+2\times 1+1=5 be=a+2b+1=2+2×1+1=5

  • 5
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值