5、正则化(Regularization)问题

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_34579844/article/details/86745655

目前为止,我学到了线性回归和逻辑回归,当用他们来解决实际问题的时候,会出现一些问题,比如说过拟合和欠拟合的问题。如何理解?看一个例子
在这里插入图片描述
这个就是我们所熟悉的线性回归的例子,图一用线去拟合数据点,看出来明显好多点和直线有较大的偏差,这个是欠拟合;图三每个点都在曲线上了,这就有点过拟合;中间的图为正正好好!
加入出现了这种问题,我们可以用正则化去解决。
前面的例子我们可以看出,就是X的次数高所引起的过拟合问题,那么如果说让高次项的系数接近于0的话,那么就可以很好的拟合了。
在这里插入图片描述
我们需要对后面两项的参数做一个惩罚,将其纳入代价函数之中,
在这里插入图片描述
这样一最小化之后,θ3和θ4的值就会很小了。
假如说我们不知道有哪些参数需要惩罚,那么就对所有的特征进行惩罚。
在这里插入图片描述
如果选择的正则化参数 λ 过大,则会把所有的参数都最小化了,导致模型变成
在这里插入图片描述
这个时候就成为了欠拟合。所以说对于正则化,我们需要选取一个适当的参数λ

(1)正则化线性回归
在这里插入图片描述
此时我们的代价函数是这个东西。应用梯度下降法:
在这里插入图片描述

(2)正则化逻辑回归

在这里插入图片描述
同样应用梯度下降法:
在这里插入图片描述
接下来几天,我将学习一个更加牛逼的算法,那就是神经网络,号称可以秒杀一切,期待。。。。

展开阅读全文

没有更多推荐了,返回首页