正则化
1.过拟合
回归问题:第一个为欠拟合,第三个为过拟合,中间效果最合适。
分类问题:同上也存在欠拟合、过拟合问题
解决办法:
<1> 丢弃一些不能帮助我们正确预测的特征:可以是手工选择保留那些特征,也可以使用一些模型选择的算法来帮忙(如PCA)
<2>正则化:保留所有特征,但是减小参数的大小(magnitude)
2.代价函数
使系数比较大的项的参数尽可能小,也就是在该项的前加一个比较大的数,算法就会是得到的结果中该项的非常小,但是如果
要选择一个合理的值。
3.正则化线性回归
在使用梯度下降法领代价函数最小化时,因为未对项进行正则化,所以梯度下降算法分为两种情形
正规方程法求解正则化线性回归模型:
4.正则化逻辑回归(逻辑分类)
代价函数: