偏差和方差详解

偏差与方差的含义

引入概念

训练集 $D$，首先我们需要理解，
首先方差是针对不同训练集而言，描述的是不同数据训练数据得出的模型之间的方差。
期望预测，
学习算法的预测误差（泛化误差）可以被分解为偏差和方差和噪声的和。

• Bias的对象是单个模型，是期望输出与真实标记的差别。它描述了模型对本训练集的拟合程度。即 刻画了学习算法本身的拟合能力。
• Variance是不同的训练数据集训练出的模型输出值之间的差异。即 刻画了数据扰动所造成的影响。
• 噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

通常方差和偏差是没有办法完全避免的，而且方差和偏差是相互冲突的，随着训练程度的递增，偏差逐渐降低，方差逐渐增大。

减小偏差：

• 增加特征，寻找更好的特征
• 增加模型复杂度

减小方差：

• 减少特征
• 降低模型复杂度，比如添加正则项
• 增大数据集
• 交叉验证法