机器学习--提高神经网络的泛化能力

泛化能力是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

在实际情况中，我们通常通过测试误差来评价学习方法的泛化能力。

泛化能力的性质
通常期望经训练样本训练的网络具有较强的泛化能力，也就是对新输入给出合理响应的能力。应当指出并非训练的次数越多越能得到正确的输入输出映射关系。网络的性能主要用它的泛化能力来衡量。

泛化误差的定义
如果学到的模型是f，那么用这个模型对未知数据预测的误差即为泛化误差(generalization error)。
泛化误差就是所学习到的模型的损失函数期望(期望误差)。

提高泛化能力
正则化方法可提高泛化能力(先随笔带过一下下=^=)。这里由于还没有实际模型代码来测试，先说明这种方法。不想和别人一样甩一堆文字，然后还没搞懂咋用正则化方法来提高泛化能力。等我后续实践过程中，用到了之后再回来贴上代码，仔细记录一下。