机器学习--偏差/方差权衡

统计学和机器学习的重要理论成果是以下事实：模型的泛化误差可以表示为三个非常不同的误差和：


  偏差：
     这部分泛化误差的原因在于错误的假设，比如假设数据是线性的，而实际上是二次的。
     高偏差模型最有可能欠拟合训练数据
     
  方差：
     这部分是由于模型对训练数据的细微变化过于敏感。
     具有许多自由度的模型（例如高阶多项式模型）可能具有较高的方差，因此可能过拟合训练数据
  
  不可避免误差：
 	这部分误差是因为数据本身的噪声所致。
 	减少这部分误差的唯一方法就是清理数据（例如修复数据源，或者检测并移除异常值）

增加模型的复杂度通常会显著提升模型的方差并减少偏差。
反过来，降低模型的复杂度则会提升模型的偏差并降低方差。