神经网络的泛化能力、学习速率

神经网络的泛化能力

在实际中，为了保证神经网络具有较强的泛化能力，就必须首先掌握哪些因素会影响神经网络的泛化能力，以及神经网络的泛化能力是如何受到他们影响的。主要有以下几个方面：

1、             结构复杂性和样本复杂性：神经网络的容量以及规模称之为神经网络的结构复杂性；样本复杂性是指训练某一固定结构神经网络所需的样本数目。

2、             样本质量：所谓样本质量，是指训练样本分布反映总体分布的程度，或者说由整个训练样本集提供的信息量。样本质量可以强烈地影响神经网络的泛化能力，改进训练样本质量，也是改善神经网络泛化能力的一种重要方法。

3、             初始权值：通过相应的研究，发现BP算法对初始值特别敏感，若训练神经网络时，其初始值不同，那么将能获得拥有不同泛化能力的神经网络。

4、             学习时间：训练神经网络的次数称作神经网络的学习时间。这里指出，过度的训练会使神经网络的学习时间过长，而且会导致在神经网络的泛化能力受影响。

基于上述影响网络泛化能力的因素，人们已做了很多研究，得到了诸多泛化方法，常用的包括剪枝算法、构造算法和进化算法等。

学习速率

学习速率一般取0-1之间的数如：0.1,0.4，网络初始化阈值赋值（0,1）区间内随机数，之后通过神经网络训练不断调整。

学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定。小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间。