过拟合
定义:原始特征过多,存在一些嘈杂特征(模型过于复杂),在训练集上表现得好但在测试集上表现得很差。
解决方法:正则化
正则化类别:
1.L1正则化:
作用:可以使其中的一些w直接为0,删除这个特征的影响。
方法:LASSO回归
2.L2正则化(更常用):
作用:可以使其中的一些w变小,都趋近于0,削弱某个特征的影响。
优点:越小的参数说明模型越简单,越简单的模型则越不能产生过拟合现象。
方法:Ridge回归
加入L2正则化后的损失函数(原损失函数+λ*惩罚项):
解析:在优化(降低)损失函数的同时优化(降低)了w,从而实现削弱某个特征的影响。
欠拟合
定义:学习特征过少(模型过于简单),在训练集和测试集上都表现得不好。
解决方法:
1.增加数据的特征数量;
2.使用较复杂的模型,或者减少正则项。