过拟合的问题
第一个模型是一个线性模型,欠拟合,不能很好地适应我们的训练集;第三个模型是一个四次方的模型,过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看出,若给出一个新的值使之预测,它将表现的很差,是过拟合。
过拟合问题解决办法:
1.减少特征项
1)手工选择
2)使用一些模型选择算法(PCA)
2.正则化
保留所有的特征,但是减少参数的大小
代价函数
:正则化参数
其中,不惩罚
过大:把所有的参数都最小化了,导致模型变成 ,造成欠拟合
过小:过去强调数据集,造成过拟合
线性回归正则化
代价函数:
梯度下降算法:
正则化线性回归模型:
逻辑回归正则化
代价函数:
梯度下降算法: