本栏目为本人自学B站各位好心的博主所录视频过程中记录下来的笔记,出处基本来自于B站视频博主以及csdn中各位大佬的解释,我只起到了转载的作用。因来源过于复杂,因此无法标注来源。
1.欠拟合与过拟合
通俗直观的理解:
- 欠拟合
当机器所学习到的特征过少时,就会在测试集的表现上特别的差。 - 过拟合
当机器所学习到的特征过多时,也会在测试集的表现上也很差。
定义:
- 过拟合
一个假设在训练数据上能够获得比其他假设更好的拟合,但是在测试数据集上却不能很好地拟合数据,此时认为这个假设出现了过拟合的现象。(模型过于复杂) - 欠拟合
一个假设在训练数据上不能获得更好的拟合,并且在测试数据集上也不能很好地拟合数据,此时认为这个假设出现了欠拟合的现象。(模型过于简单)
原因及解决办法:
- 欠拟合原因及解决办法
- 原因:学习到数据的特征过少
- 解决办法:增加数据的特征数量
- 过拟合原因以及解决办法
- 原因:原始特征过多,存在一些嘈杂特征,模型过于复杂是因为模型尝试去兼顾各个测试数据点
- 解决办法:正则化
2. 正则化类别
- L2正则化
- 作用:可以使得其中一些w的都很小,都接近于0,削弱某个特征的影响。
- 优点:越小的参数说明模型越简单,越简单的模型则越不容易产生过拟合现象
- Ridge回归
- 加入L2正则化后的损失函数:
注:m为样本数,n为特征数
- L1正则化
- 作用:可以使得其中一些W的值直接为0,删除这个特征的影响
- LASSO回归