集成学习的偏差和方差

简介：

我们经常用过拟合、欠拟合来定性地描述模型是否很好地解决了特定的问 题。从定量的角度来说，可以用模型的偏差（Bias）与方差（Variance）来描述模型的性能。集成学习往往能够“神奇”地提升弱分类器的性能。

一、 偏差和方差怎么来的

如果我们用训练数据集去训练一个模型，通常的做法是需要定义一个误差函数，接着是将这个误差的最小化过程，来提高模型的性能。不过单纯地将训练数据集的损失最小化，并不能保证在解决更一般的问题时模型仍然是最优，甚至不能保证模型是可用的。这个训练数据集的损失与一般化的数据集的损失之间的差异就叫做泛化误差(generalization error)。泛化误差我们也可以分解为偏差(Biase)和(Variance)两部分。

泛化误差(generalization error)=偏差(Biase)+方差(Variance)

二、 什么是偏差和方差

什么是模型的偏差和方差，Boosting和Bagging方法与偏差和方差的关系是什么，如何根据偏差和方差这两个指标来指导模型的优化和改进。

在有监督学习中，模型的泛化误差来源于两个方面——偏差和方差，具体来 讲偏差和方差的定义如下：

偏差指的是由大小为m的训练数据集训练出的模型的输出的平均值和真实模型输出之间的偏差。偏差通常是由于我们对学习算法做了错误的假设所导致的，比如真实模型是某个二次函数，但我们假设模型是一次函数。由偏差带来的误差通常在训练误差上就能体现出来。

偏差的计算方法：