神经网络与机器学习 笔记—改善反向传播的性能试探法

改善反向传播的性能试探法

整理8个能提高BP效率的方法：

 

1. 随机和批量方式更新

反向传播学习的随机（串行）方式（涉及一个模式接一个模式的更新）要比批量方式

计算快。特别是当新联数据集很大且高度冗余时，更是如此。（批量学习再高度冗余的时候Jacobi矩阵会很麻烦）

1. 最大信息内容

作为一个基本的规则，对呈现给反向传播算法的每一个训练样本的挑选必须建立在其信息内容对解决问题有很大可能的基础上。达到这个目标的两种方法是：

使用训练误差最大的样本。

使用的样本要与以前使用的有区别。

这两个试探方法起因于对权空间进行更多搜索的愿望。

在模式分类的任务中使用串行反向传播学习，经常使用的一个简单技巧是将样本的每个回合呈现给多层感知器的顺序随机化（即弄乱）。理想情况下，随机化可以确保一个回合中的相继的样本很少属于同一类。

1. 激活函数

建议选择奇函数的sigmoid激活函数即

F(-v) = - F(v)

如下的双曲正切