过拟合与欠拟合

过拟合

定义：原始特征过多，存在一些嘈杂特征(模型过于复杂),在训练集上表现得好但在测试集上表现得很差。

解决方法：正则化

正则化类别：

1.L1正则化：

        作用：可以使其中的一些w直接为0，删除这个特征的影响。

        方法：LASSO回归

2.L2正则化（更常用）：

        作用：可以使其中的一些w变小，都趋近于0，削弱某个特征的影响。

        优点：越小的参数说明模型越简单，越简单的模型则越不能产生过拟合现象。

        方法：Ridge回归

加入L2正则化后的损失函数（原损失函数+λ*惩罚项）：

解析：在优化（降低）损失函数的同时优化（降低）了w，从而实现削弱某个特征的影响。

欠拟合

定义：学习特征过少(模型过于简单)，在训练集和测试集上都表现得不好。

解决方法：

        1.增加数据的特征数量；

        2.使用较复杂的模型，或者减少正则项。