偏差和方差的简单理解

偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；

方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；

噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

• 给定学习任务，假定我们能够控制学习算法的训练程度，则在训练不足时，学习器的拟合能力不够强，训练数据的扰动不足以使学习器产生显著变化，此时偏差主导了泛化错误率；
• 随着训练程度的加深，学习器的拟合能力逐渐增强，训练数据发生的扰动渐渐能被学习器学到，方差逐渐主导了泛化错误率；
• 在训练程度充分后，学习器的拟合能力已经非常强，训练数据发生的轻微扰动都能导致学习器发生显著变化，若训练数据自身的，非全局的特性被学习器学到了，则发生了过拟合。

www.cnblogs.com/bentuwuying/p/6654536.html

偏差是模型所做的简化假设，以使目标函数更容易近似。
方差是给定不同训练数据时目标函数的估计值将更改的量。

低偏差高方差机器学习算法的示例包括：决策树，k最近邻和  支持向量机。
高偏差低方差机器学习算法的示例包括：线性回归，线性判别分析和逻辑回归。

线性机器学习算法通常具有高偏差但方差低。
非线性机器学习算法通常具有较低的偏差但具有较高的方差。