数学公式推导_链式法则_chain rule

数学公式推导_链式法则_chain rule

基本
加减乘除幂

链式法则

核心 ∂ y ∂ x = ∂ y ∂ u ∂ u ∂ x \frac{\partial y}{\partial x}=\frac{\partial y}{\partial u}\frac{\partial u}{\partial x} xy=uyxu

实际用法
∂ E ∂ w j k 1 = ∂ E ∂ O k 1 ∂ O k 1 ∂ w j k 1 = ∂ E ∂ O k 2 ∂ O k 2 ∂ O k 1 ∂ O k 1 ∂ w j k 1 \frac{\partial E}{\partial w_{jk}^{1}}=\frac{\partial E}{\partial O_{k}^{1}}\frac{\partial O_{k}^{1}}{\partial w_{jk}^{1}}=\frac{\partial E}{\partial O_{k}^{2}}\frac{\partial O_{k}^{2}}{\partial O_{k}^{1}}\frac{\partial O_{k}^{1}}{\partial w_{jk}^{1}} wjk1E=Ok1Ewjk1Ok1=Ok2EOk1Ok2wjk1Ok1

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
反向传播算法是一种用于训练神经网络的算法,其核心思想是利用链式法则计算每个参数对于损失函数的梯度,从而进行梯度下降优化。其过程可以分为以下几步: 1. 前向传播:将输入数据通过网络传播,计算出网络的输出。 2. 计算误差:将网络的输出与真实标签比较,计算出误差。 3. 反向传播:利用误差,从输出层开始,利用链式法则计算每个参数对于误差的梯度。 4. 更新参数:根据每个参数对应的梯度,使用梯度下降算法对参数进行更新。 具体来说,反向传播的公式推导如下: 在一个神经网络中,我们假设有L层,第l层的权重为W(l),偏置为b(l),第l层的激活函数为f(l),输入为x,输出为y。 前向传播的过程可以表示为: $$z^{(l)}=W^{(l)}y^{(l-1)}+b^{(l)}$$ $$y^{(l)}=f^{(l)}(z^{(l)})$$ 其中,$y^{(0)}=x$。 计算误差: 假设我们的目标是最小化输出层的误差,我们可以定义一个损失函数$J(y^{(L)},y^{*})$,其中$y^{*}$表示真实标签。我们的目标是找到一组参数$W^{(1)},...,W^{(L)},b^{(1)},...,b^{(L)}$,使得损失函数最小化,即: $$\min_{W^{(1)},...,W^{(L)},b^{(1)},...,b^{(L)}} J(y^{(L)},y^{*})$$ 利用链式法则,我们可以计算出每个参数对于损失函数的梯度: $$\frac{\partial J}{\partial W^{(l)}}=\frac{\partial J}{\partial z^{(L)}}\frac{\partial z^{(L)}}{\partial y^{(L-1)}}\frac{\partial y^{(L-1)}}{\partial z^{(L-1)}}\cdots\frac{\partial z^{(l)}}{\partial W^{(l)}}$$ $$\frac{\partial J}{\partial b^{(l)}}=\frac{\partial J}{\partial z^{(L)}}\frac{\partial z^{(L)}}{\partial y^{(L-1)}}\frac{\partial y^{(L-1)}}{\partial z^{(L-1)}}\cdots\frac{\partial z^{(l)}}{\partial b^{(l)}}$$ 其中,$\frac{\partial J}{\partial z^{(L)}}$表示输出层的误差,可以根据损失函数的定义求出;$\frac{\partial z^{(L)}}{\partial y^{(L-1)}}$表示输出层的权重,可以直接从前向传播的过程中得到;$\frac{\partial y^{(L-1)}}{\partial z^{(L-1)}}$表示第L-1层的激活函数的导数,可以根据激活函数的选择求出;$\frac{\partial z^{(l)}}{\partial W^{(l)}}$和$\frac{\partial z^{(l)}}{\partial b^{(l)}}$表示第l层的权重和偏置,可以直接从前向传播的过程中得到。 利用上述公式,我们可以计算出每个参数对于损失函数的梯度,从而进行梯度下降优化。这就是反向传播算法的核心思想。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值