本文详细介绍了神经网络的反向传播算法（BP），从初始化权重和阈值开始，通过前向计算和反向迭代来调整网络参数。文中探讨了学习率和动量对算法性能的影响，解释了动量如何帮助避免局部最小值并加速学习。最后，讨论了反向传播算法的停止准则，包括梯度范数阈值和均方误差变化速率。
先看下面信号流图，L=2和M0=M1=M2=M3=3的情况，上面是前向通过，下面部分是反向通过。
1.初始化。假设没有先验知识可用，可以以一个一致分布来随机的挑选突触权值和阈值，这个分布选择为均值等于0的均匀分布，它的方差选择应该使得神经元的诱导局部域的标准偏差位于sigmoid激活函数的线行部分与饱和部分过渡处。
(1)训练样本的呈现。呈现训练样本的一个回合给网络。对训练集中以某种形式排序的每个样本，一次进行下面的第3点和第4点中所描述的前向和反向计算。
(2)前向计算。在该回合中设一个训练样本是(x(n),d(n))，输入向量x(n)作用于感知节点的输入层，期望响应向量d(n)指向计算节点的输出层。不断经由网络一层一层第前进，可以计算网络的诱导局部域和函数信号。在层L的神经元j的诱导局部域为：
最低0.47元/天 解锁文章
1584
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
