吴恩达机器学习粗略随笔——正则化

• 什么是正则化：
  给参数添加惩罚项，使权重尽可能小，但是不至于丢失所有信息。
• 目的：
  解决过拟合问题。如下图：
  
  左图是理想模型，右图是过拟合模型。导致过拟合的原因是高次项特征影响了模型的表现，所以我们希望3、4次项“消失”，但直接去掉特征又会丢失信息。我们需要保留高阶项特征，也要让他们权重最小化。因此，我们修改损失函数J(θ)，改成：J=min(原式+10000*θ^3+10000*θ^4)。因此当损失函数最小时，θ3、4的值也无限小，减小了x^3对模型的影响，最终的模型可看做二次模型。
  从视觉上，没有高阶项的模型很平滑，有高阶项的模型方差高，正则化后的模型较平滑，很接近理想模型，也保留了高阶项的一些信息。
• 实际应用：
  
  由于我们不知道哪个特征是高阶项，因此给每个权重都添加惩罚，时权重的平方和最小。（平方只是为了简化计算）
• 关于λ的问题：
  我们希望λ较大，从而减小权重，使模型平滑。
  而θ0=1一般是不添加惩罚的（如上式，是从1~n，而不是0~n）。
  当θ0=1，而θ1~n≈0时，模型约等于θ0，就是一条直线。这就成了欠拟合问题。
  所以λ的值需要多次调试。
• 线性回归中的正则化：θ0单独更新，θn的更新要多减去一个λ*θn
  
  简化后：
  
• 正则化后的正规方程（最小二乘法）
  
• 正则化可以解决矩阵不可逆的问题（意料之外，情理之中）