模型评估与优化3--正则化

模型评估与优化3–正则化

1.奥卡姆剃刀原理:在所有能解释数据的模型中，越简单的越靠谱。但是在实际问题中为了拟合复杂的数据,不得不采用更复杂的模型。使用更复杂的模型通常会产生过拟合，而正则化就是常用的防止过拟合的工具之一。可以看做是模型优化的一种有效方法，通过限制参数过多或者过大来避免模型过于复杂。

2.什么是正则化
正则化又分为L1正则化和L2正则化。以多项式回归为例，我们的目标是最优化的最小二乘误差,但是通常在优化目标后面会看到一一个w的平方项,或者w的绝对值的表达式，这个就是正则项。其中, w的二次平方回归叫做岭回归, w的绝对值回归项叫做Lasso回归。

3.L1和L2的区别
L1、L2正则化目的都是防止过拟合，两者差别在于：
岭回归中的L2正则项能将一些w变成很小的值，而 Lasso回归中的L1正则项得到的w是稀疏的。
Lasso回归会趋向于减少特征数量，相当于删除特征，类似于降维，而岭回归会把一些特征的权重调小，这些特征都是接近于0的。因此 Lasso 回归在特征选择时候非常有用，而岭回归就只是一种规则化而已。
在所有特征中，如果只有少数特征起重要作用的情况下，选择Lasso比较合适，它能自动选择特征。而大部分特征都能起作用而且作用很平均，那么岭回归更合适。

上图左侧为L1正则化，右侧为L2正则化
圆形和菱形区域分别为正则化限定的W的有效区域，即W不能离开上图棕色区域，最多只能位于圆形或者菱形的边缘位置。老师可根据个人理解进行展开推导。上图可以从图像化的角度，分析L2和L1正则化的物理意义，解释了这两个正则化项的损失函数是如何推导出来的。