第14节课 Regularization
- 本节课是在overfitting（过拟合）的基础上展开的学习和推导。将原先的高阶多项式的问题，转变成低阶多项式加上限制条件之后的问题，我们就可以进一步转化为Eaug最小化问题，即把w的平方加进去。这部分最优化问题的求解过程、正规化和VC理论之间的关系没有听懂，期间涉及到了梯度这个概念，最后还引入了对λ的探讨。需要好好掌握。
（一）引入regularization（正规化）
1.过拟合与正规化的关系：
本节课要学习的正规化就是将下面右图转化成左图的形式。解决overfitting的另一种非常重要的方法：regularization正规化。
如下图右图所示，在数据量不够大的情况下，如果我们使用一个高阶多项式（图中红色曲线所示），例如10阶，对目标函数（蓝色曲线）进行拟合。拟合曲线波动很大，虽然Ein很小，但是Eout很大，也就造成了过拟合现象。
那么如何对过拟合现象进行修正，使hypothesis更接近于target function呢？一种方法就是regularized fit（见下面的左图）。
正规化通俗点理解就是逼近某个函数的方式。
引出的问题是怎么将十次方的多项式向二次方多项式转换。
2.问题的探讨：
（1）问题的设定
（2）二次方多项式和十次方多项式的表示：
（3）十次方多项式转换为二次方多项式的条件（两者间的关系）：
（4）问题进一步转化：找一个好的二次多项式相当于找一个好的十次多项式加了一些条件和限制，解Ein的问题。
（5）对二次多项式条件的拓展（放松）：
①原始条件：对二项式的特定系数有要求——3号到10号系数为0。
②放松后的条件：任意系数都可以为0，但系数不等于0的项小于等于3项。
③原始条件和放松后的条件之间的关系：包含与被包含的关系。
（6）求哪个w是0的问题转变成求w的大小的问题，如果w接近0，那么w的平方的和就会很小，如果w不接近0，那么w的平方和就会很大。
所以求最好的一个w的过程就叫正规化，求解上面右边图里的条件。
3.例题：更好的理解上面问题的探讨这一部分。
解析：③中w的平方和是Q+1，其中Q>=1,故Q+1>=2,不小于等于1，所以不符合条件。
（二）求解新的最佳化问题
（1）原问题和条件（表示成向量和矩阵的形式）：
（2）求解过程（涉及前面学过的梯度）：（需要多看视频讲解）
（3）求解方式：
实际上就是解wREG的一个线性方程式求得最优解。
另一种解法（新观点）：
（4）结果：（不同的λ值带来的不同结果）
C和λ值之间的关系：
（5）小细节：（不太懂，还是要多听视频讲解）
（三）正规化和VC理论之间的关系（不太懂）
1.关系图
两者的区分和联系：
两者关系详细解释见下图：
另一个角度：
（四）通用的regularization
1.常用的设计方法：
2.L2的最佳化问题和L1的最佳化问题（L1更难求一点，因为有尖尖的点）
3.λ值的确定问题（重要）：
在stochastic noise和deterministic noise不同的情况下，看曲线上Eout最低的点。
结论：以上两种noise的情况下，都是noise越大，相应的λ也就越大。但是大多数情况下，noise是不可知的，这种情况下如何选择λ？
- 下节课的重点是怎么选择λ？
148
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
