这篇博客详细介绍了神经网络的公式推导，包括输出层和隐藏层的权重梯度值计算，以及误差E的定义。通过具体的例子，解释了网络中每个神经元的输出yij如何通过激活函数σ(x)计算得出，并使用链式法则求得输出层和隐藏层各权重的梯度值。
1.规定
- y i j y_{ij} yij为第 i i i层网络第 j j j个神经元的输出.
- t i t_i ti为输出层第 i i i个输出.
- n i n_i ni为第 i i i层网络的神经元数量.
- 激活函数 σ ( x ) = S i g m o d ( x ) = 1 1 + e − x \sigma(x)=Sigmod(x)=\frac{1}{1+e^{-x}} σ(x)=Sigmod(x)=1+e−x1，因此 ∂ σ ( x ) ∂ x = σ ( x ) [ 1 − σ ( x ) ] \frac{\partial \sigma(x)}{\partial x}=\sigma(x)[1-\sigma(x)] ∂x∂σ(x)=σ(x)[1−σ(x)].
- E E E代表误差，即 E = ∑ i = 1 2 ( y 3 i − t i ) 2 E=\sum_{i=1}^{2}(y_{3i}-t_i)^{2} E=∑i=12(y3i−ti)2.
- ∇ i j k \nabla_{ijk} ∇ijk为第 i i i层网络第 j j j个神经元，它对上一层网络的第 k k k个神经元的 ω \omega ω的梯度值.
2.公式推导
现在以 11 → 21 → 31 11\rarr 21 \rarr 31 11→21→31该过程为例，同时导出通项公式。
n e t i j net_{ij} netij
n e t 21 = ∑ i = 1 2 ( ω 21 i y 1 i ) net_{21}=\sum_{i=1}^{2}(\omega_{21i}y_{1i}) net21=∑i=12(ω21iy1i).
n e t 31 = ∑ i = 1 3 ( ω 31 i y 2 i ) net_{31}=\sum_{i=1}^{3}(\omega_{31i}y_{2i}) net31=∑i=13(ω31iy2i).
因此通项公式为： n e t i j = ∑ k = 1 n i − 1 ( ω i j k y i − 1 ,
最低0.47元/天 解锁文章
1150
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
