Datawhale X李宏毅苹果树 AI夏令营 TASK2

线性模型的基本形式：
 - 一元线性模型：对于单个特征 
- 多元线性模型：对于多个特征   

 

线性模型的学习步骤：
 ·模型假设（选择模型框架）
 ·模型评估（定义损失函数） -常用的损失函数是均方误差（MSE）
 

·模型优化（使用梯度下降等方法）
 - 梯度下降法：通过迭代地更新模型参数 和 来最小化损失函数。
- 学习率的影响：学习率 的取值对收敛过程至关重要。
- 如果 值过大，可能导致参数更新步长过大，直接使损失函数发散，无法收敛到最优解。
- 如果 值偏大，损失函数可能会快速降低到一定水平后不再下降，陷入局部最优解。
- 如果 值恰当，损失函数能够很好地收敛到一个较优的解。
- 如果 值太小，参数更新步长过小，收敛的速度会非常慢，需要更多的迭代次数才能达到较好的效果。
- Adagrad 方法：Adagrad 方法将不同参数的学习率分开考虑。
 

过拟合问题：
 - 过拟合现象：复杂模型（高次模型）虽然具有更强大的表达能力，但在训练数据上误差非常小，而在测试数据上误差却很大，这就是过拟合。原因是高次模型中符合当前训练数据规律的函数可能不止一条，但真正符合实际数据规律的曲线只有一条（毕竟训练数据是实际数据的子集）。

 解决方法：
·选择合适的模型

· 扩充数据容量

 ·正则化方法
- L1 正则化
- L2 正则化