10.1过拟合的问题
第一个具有较高误差
第二个比较合适
第三个太合适了,而且函数图像不正确,所以过拟合了,也叫做具有高方差。如果稍微变动一下输入,输出可能会有很大变化。
所以要寻找一个既没有高偏差又没有高方差的式子。
这又是一个过拟合的例子,尽管它在训练中做的非常好,但是这并不能应用在实际的生活中。
1欠拟合:泛化能力差,训练样本集准确率低,测试样本集准确率低。
2过拟合:泛化能力差,训练样本集准确率高,测试样本集准确率低。
3合适的拟合程度:泛化能力强,训练样本集准确率高,测试样本集准确率高
欠拟合原因:
1训练样本数量少
2模型复杂度过低
3参数还未收敛就停止循环
欠拟合的解决办法:
1增加样本数量
2增加模型参数,提高模型复杂度
3增加循环次数
4查看是否是学习率过高导致模型无法收敛
过拟合原因:
1数据噪声太大
2特征太多
3模型太复杂
过拟合的解决办法:
1清洗数据
2减少模型参数,降低模型复杂度
3增加惩罚因子(正则化),保留所有的特征,但是减少参数的大小(magnitude)。
10.2解决过拟合
1.可以多找几个数据来防止过拟合
2.查看,不使用这么多的多项式特征。只选择比较重要的特征(特征选择)
3.正则化(Regularization)
将某一项的参数设为零,不那么剧烈,正则化所做的使鼓励学习算法收缩参数值,不一定正好为0。
正则化所做的是保留所有的功能,防止功能过大产生影响。
10.3正则化代价函数
通常实现正则化的方式就是乘法所有的特征,即惩罚所有的参数
通常不去惩罚b,因为没有太大的作用
1.希望把成本降到最低,即误差均方成本。2.加上正则化术语。
怎么对模型做正则化?
我们对前面的讨论进行推广。假如我们有非常多的特征,我们并不知道其中哪些特征我们要惩罚,我们将对所有的特征进行惩罚,并且让代价函数最优化的软件来选择这些惩罚的程度。于是,我们分析 线性回归模型 的代价函数和 Logistic回归模型 的代价函数如何修改。
线性回归:
则修改梯度下降过程:
逻辑回归:
则修改对应梯度下降过程:
其中 λ称为正则化参数(Regularization Parameter),当参数越大,则对其惩罚(规范)的力度也就越大,越能起到规范的作用。但是要注意,λ 并不是越大越好的!如果选择的正则化参数 λ
大,则会把所有的参数都最小化了,导致模型变成 hθ(x)=θ0造成欠拟合。因此,我们对 λ的选取需要合理即可。
10.4正则化线性回归