《Ensemble Learning Methods for Deep Learning Neural Networks》笔记

文章连接：Ensemble Learning Methods for Deep Learning Neural Networks

前言

神经网络提供了更大的灵活性，并可根据可用的培训数据量进行调整。但这种灵活性的一个缺点是，他们通过随机训练算法学习，这意味着他们对训练数据的细节很敏感，每次训练时可能会找到不同的一组权重，从而产生不同的预测。
这样的情况被称为具有高方差的神经网络，降低神经网络模型方差的一个成功方法是训练多个模型而不是单个模型，并结合这些模型的预测。这被称为集成学习，它不仅减少了预测的方差，而且还可以产生比任何单一模型都更好的预测。

神经网络方差大

训练深度神经网络在计算上非常昂贵。投入了大量的时间和资源之后，却不能保证最终的模型具有较低的泛化误差，这的确让人头疼。
神经网络模型是一种非线性方法。它们可以在数据中学习复杂的非线性关系。这种灵活性的一个缺点是，它们对初始条件非常敏感，包括初始随机权重和训练数据集中的统计噪声。
学习算法的这种随机性意味着，每次训练神经网络模型时，它可能会从输入到输出学习到一个稍微(或显著)不同版本的映射函数，而这反过来又会对训练和保持数据集产生不同的性能。

使用模型集合减少方差

解决神经网络的高方差问题的一个方法是训练多个模型并结合它们的预测。将多个神经网络的预测结果结合在一起，会增加一个偏差，从而抵消单个训练神经网络模型的方差。结果是对训练数据的细节、训练方案的选择和一次训练的意外发现不那么敏感