台大林轩田《机器学习基石》学习笔记：重要工具二（Regularization）

本文是作者学习台大林轩田教授《机器学习基石》课程后整理的简要笔记（未按课程回目分节），内容大部分来源于林轩田教授的课程资料，其余相关参考链接已标出。

版权所有：CSDN博客  拖延症患者的自愈小记 

重要工具 - Key tools

• Regularization规则化/加条件的

    实质是，在求E_in最小值的过程中加上约束条件

    用例子引入，当前面临的情况是使用了十次曲线overfit了目标二次曲线，需要从十次stepback到二次（Q：为什么不直接用二次来fit而要多此一举从十次走回二次 A：不着眼于当前简单问题，是为以后的复杂算法做准备）

 

    H₁₀加上约束条件“w₃=w₄=…=w₁₀=0”就等于H₂，这个约束条件太过严苛；稍微放松一点，条件改成“至少有8个w为零”，即“最多有3个w不为零”，然而找到这个约束条件下的最佳解是NP-hard问题；再修改约束条件，得到regularized hyphothsis set H(C)：

    这样一来，求解最佳Hypothesis就变成了如下问题：

 

    求无约束条件的下的最佳解，采用的梯度下降法是从山谷上面往山谷滚；现在有了约束条件，即在超球范围内尽量往山谷滚。在球边上某点时，是否已经是最佳解w_REG的判断依据是，w_REG是否平行于-▽E_in，即：

    引出统计上的 脊回归ridge regression：