机器学习——神经网络的网络调优

一、数据预处理

标准化操作：首先各个特征减去其均值，相当于以原点对称，接下来再除以各自的标准差，让各个维度取值都统一在较小范围中。

图像数据预处理操作：保证输入的大小规模都是统一的，例如都是32×32×3，如果各自大小不同，还需resize到统一规模，这点是必需的，因为在基本的神经网络中，所有参数计算都是矩阵相乘，如果输入不统一，就没法进行特征变换。不仅如此，通常图像数据的像素点取值范围是在0～255之间，看起来浮动比较大，可以使用归一化方法来把所有像素点值压缩到0～1之间。
文本数据预处理操作：最起码要把文本或者词语转换成向量。为了满足神经网络的输入，还需限制每一篇文本的长度都是统一的，可以采用多退少补原则来处理文本长度，后续在实验中还会详细解释其处理方法。

在神经网络中，每一个参数都是需要通过反向传播来不断进行迭代更新的，但是，开始的时候也需要有一个初始值，一般都是随机设置，最常见的就是随机高斯初始化，并且取值范围都应较小，在初始阶段，不希望某一个参数对结果起到太大的影响。一般都会选择一个较小的数值，例如在高斯初始化中，选择均值为0且标准差较小的方法。

二、Drop-Out

过拟合问题：1.正则化惩罚项 2.Drop-Out
Drop-Out能解决一部分过拟合问题，但是也会使得网络效果有所下降。
过拟合问题源于在训练过程中，每层神经元个数较多，所以特征组合提取方式变得十分复杂，相当于用更多参数来拟合数据。如果在每一次训练迭代过程中随机杀死一部分神经元，如下图所示，就可以有效地降低过拟合风险。为了使得整体网络架构在实际应用时保持不变，强调每次迭代都进行随机选择，也就是对一个神经元来说，可能这次迭代没有带它玩，下次迭代就把它带上了。所以在测试阶段照样可以使用其完整架构，只是在训练阶段为了防止过拟合而加入的策略。

　Drop-Out方法巧妙地将神经元的个数加以控制，已经成为现阶段神经网络中必不可少的一部分，通常每次迭代中会随机保留40%～60%的神经元进行训练。

三、数据增强

神经网络是深度学习中的杰出代表，深度学习之所以能崛起还是依靠大量的数据。当数据量较少时，深度学习很难进行，最好用更快速便捷的传统机器学习算法。