过拟合
定义:训练误差和测试误差之间的差距太大
原因:模型容量过大
后果:无法提取有效的结构信息,即解过多,无法选出一个泛化能力好的解
(这里就得解释一下模型容量和泛化能力的概念了,模型容量即拟合各种函数的能力,显然高次函数多项式的这种能力比低次的强,就说更高次的模型容量大。泛化能力即在未观测到的输入上表现的良好程度)
欠拟合
定义:模型不能在训练集上获得足够低的误差
原因:模型容量不足
后果:无法刻画真实函数的曲率
所以,过拟合和欠拟合的罪魁祸首就是模型容量,那如何改变模型容量呢?一般来说,有:
1.改变输入特征的个数(一个x的n次幂就是一个特征)
2.加入这些特征对应的参数
注意,当学习算法优化不完美时,学习算法的有效容量会小于模型族的表示容量
(表示容量:学习算法可以选取的函数族)
正则化
定义:以增大训练误差来减小测试误差的策略
正则化思路:1.向机器学习模型添加额外的约束,如增加参数的限制
2.向目标函数添加额外项
3.集成方法
常用的正则化策略:
1.参数范数惩罚
2.L^2参数正则化
3.L1参数正则化
显然,正则化可以用来解决过拟合问题
定义