机器学习笔记之正则化原理的易懂解释

机器学习笔记之正则化

解决什么问题

过拟合问题，在使用多项式拟合回归的时候，当所选的多项式次数过高的时候，容易产生过拟合现象，虽然对每一个样本点都能很好的符合，但是并不适合我们进行分析，例如：

可以看到，在这个例子中，如果我们用了一个4次的多项式进行拟合，效果明显不如二次多项式，为了解决这个问题，我们就相当于需要对一些影响因素（即自变量）降低权重，降低他们对模型的影响。
如上图我们在求解代价函数的时候，给$$\theta 3\theta 4$$加上了一个很大的系数（不太会打公式），这样在求这个代价函数最小值点的时候就会将这两个变量变得很小，达到我们的目的

具体操作

上图是梯度下降中的具体操作方法，就是在我们做步长梯度下降的时候，在方向上（即代价函数的求导）加上新的项，其中系数$$\lambda$$为一个权重因子，相当于调整的不同影响因素的影响程度。
同样的道理，在logistic回归中正则的处理方式也十分类似：

最后一个问题

那么$$\lambda$$具体该怎么求呢
诶，我也不知道，这实际上是有更专门的方法自动的选择数值，来同时避免欠拟合和过拟合的
这里就先不说了，先了解下正则的原理和它要解决的问题是我们学习的第一步哦