本文详细介绍了神经网络的代价函数，特别是反向传播算法的计算过程，包括如何从最后一层开始计算误差，逐步向前传播，以及参数的向量化表示。通过MATLAB代码展示了算法的实现，并解释了为何需要对权重进行随机初始化以避免对称权重问题。最后强调了在训练神经网络时的步骤，包括代价函数的计算、反向传播求导数和梯度检验的重要性。
回顾Logistic Regression中的代价函数为：
神经网络的代价函数的基本思想与逻辑回归是一样的，但是形式上有一些差别：
L表示神经网络的层数，sl表示l层神经网中的神经元的个数，K表示输出层的神经元的个数；正则项的计算包含了每一个激活单元。
为了计算代价函数的偏导数，我们需要采用一种反向传播算法，它的目的是为了最小化我们的代价函数，即先计算最后一层的误差，然后在向前一层一层的计算，假如我们的神经网络有四层，并且输出单元有四个，那么最后一层的误差为：
第三层的误差为：
，其中，
933
342
596
798
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
