总览学习目录篇 链接地址:https://blog.csdn.net/xczjy200888/article/details/124057616
B站:李宏毅2020机器学习笔记 2 —— 回归Regression
一、例子:宝可梦进化预测
1. 第一步:构造模型
2. 第二步:判断模型函数的好坏
根据模型得到的输出 和 真实的输出 比较,来判断函数的好坏
3. 第三步:挑选最好的函数
通过调整函数的参数,使得损失函数loss最小化
4. 第四步:使用梯度下降算法优化函数参数
问题:可能陷入局部最优,而不能求得全局最优
5. 第五步:重新选择函数
6. 第六步:重新定义和计算损失函数
- 添加λ项,为什么参数值要越小?
参数值都接近0,说明函数是比较平滑的,平滑的话,表示对输入的变化不敏感。我们更喜欢平滑函数,但是不能太过平滑。
二、基本概念
1. 改进模型的方向
1.1 结果误差来源:
- 偏差过大:underfitting 欠拟合
- 方差过大:overfitting 过拟合
- 当N无穷大的时候, m = μ m=μ m=μ
- 期望值 E = μ E=μ E=μ
- 方差
左边的图(大偏差,小方差):模型选择时,最优点(红心点)就实现不了,偏差加大,但方差较小
右边的图(小偏差,大方差):模型范围很广,偏差较小,但方差较大
2. 改进模型的方法
2.1 偏差大:修改为更复杂的模型
- 更多的特征维度输入
- 更复杂的模型函数
2.2 方差大:更多训练样本,正则化
- 更多训练样本
- 正则化
2.3 模型选择
- 权衡方差和偏差
- 在平衡方差和偏差下,最小化模型整体误差