本文详细介绍了反向传播过程中损失函数的梯度计算，包括Sigmoid和Softmax函数的导数，单输出和多输出神经网络的梯度计算，以及多层次神经元的扩展应用。通过理解这些概念，可以更好地掌握深度学习模型的训练过程。
反向传播补充
一.损失函数的梯度
在机器学习以及深度学习当中，最常见的一种损失函数，就是最小二乘法损失函数，我们假设实际值是y，输出值呢，我们承接反向传播部分，是利用最后的Sigmoid函数或者Softmax函数输出的，我们记为：
σ ( z ) , z 为 线 性 方 程 \sigma(z), z为线性方程 σ(z),z为线性方程
在神经网络当中，损失函数是各个输出层的损失函数的累加，所以，整个神经网络的最小二乘损失函数就是：
L = ∑ i = 1 n l i = 1 2 ∑ i = 1 n ( y − σ ( z ) ) 2 L = \sum_{i=1}^n l_{i} = \frac{1}{2}\sum_{i=1}^n (y-\sigma(z))^2 L=i=1∑nli=21i=1∑n(y−σ(z))2
反向传播，我们是为了更新权重w，因此要对各个w求偏导，于是：
∂ L ∂ w = ∑ i = 1 n ( y − σ ( z ) ) σ ′ ( z ) ∂ z ∂ w （ 公 式 0 ） \frac{\partial L}{\partial w} = \sum_{i=1}^n (y-\sigma(z)) \sigma'(z) \frac{\partial z}{\partial w} （公式0） ∂w∂L=i=1∑n(y−σ(z))σ
最低0.47元/天 解锁文章
865
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
