【自学笔记】过拟合与正则化

过拟合

  分类任务的本质其实是找到边界，将不同类型的数据区分开，之前我们做的是尽量让这个边界更贴近每一个数据点，达到拟合的作用。
  然而，极端数据的存在或要求模型的特征数过多，会导致过拟合现象的出现。它会导致模型在训练集表现优异，但是在测试集准确率不高，这显然不是我们想要的。

术语“偏置（Bias）”和“方差（Variance）”

  偏置描述了学习算法的期望预测与真实结果之间的偏差。高偏置与欠拟合成正比。
  方差表示模型预测结果的波动程度，即模型在不同训练集上的预测值的变化程度。高方差与过拟合成正比。

偏置-方差权衡（Bias-Variance Tradeoff）

  要控制模型的偏置和方差，避免欠拟合和过拟合的出现。

正则化

  正则化的本质是引入额外信息（偏置）来惩罚极端的参数值。
  常见的L1，L2正则化就是在代价函数末尾加上关于w的式子，使w过大时代价函数也会过大。

L1正则化

$J(\vec{w})=J_0(\vec{w})+\lambda {\sum }_{j=1}^m|w_j|$
其中$J_0$是原代价函数，$\lambda$为