本文详细介绍了神经网络的前向传播和反向传播过程。在前向传播中，从原始样本数据开始，通过权重和激活函数计算各层神经元的输出。反向传播则涉及对损失函数求导，计算每个参数的梯度，包括激活函数的导数、权重和偏置的更新。这些梯度用于更新网络参数，以优化模型性能。
- 正向传播
对于单个神经元来说
前向传播： z [ l ] = W [ l ] ⋅ a [ l − 1 ] + b [ l ] {z}^{[l]}={W}^{[l]}\cdot{a}^{[l-1]}+{b}^{[l]} z[l]=W[l]⋅a[l−1]+b[l]
激活函数： a [ l ] = g [ l ] ( z [ l ] ) { {a}^{[l]}}={ {g}^{[l]}}\left( { {z}^{[l]}}\right) a[l]=g[l](z[l])
矩阵化后对于单层的神经元
向量化实现过程可以写成： z [ l ] = W [ l ] ⋅ A [ l − 1 ] + b [ l ] {z}^{[l]}={W}^{[l]}\cdot {A}^{[l-1]}+{b}^{[l]} z[l]=W[l]⋅A[l−1]+b[l]
A [ l ] = g [ l ] ( Z [ l ] ) {A}^{[l]}={g}^{[l]}({Z}^{[l]}) A[l]=g[l](Z[l])
也就是说，一层神经元的输入是Al-1 ，经过Z ，然后激活得到 Al
Al 是下一层的输入。
A0 是第一层的输入，就是我们的原始样本数据，于是可以一直输入输出直到得到最后的输出Al
于是前向传播
- 初始化 A 0 A^0 A0
- 输入 A [ l − 1 ] {A}^{[l-1]} A
最低0.47元/天 解锁文章
扫一扫
1450
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
