回归 （持续更新）

A. 建模步骤：

step1：模型假设，选择模型框架

step2：模型评估，如何判断众多模型的好坏

step3：模型优化，如何筛选最优的模型

B.以线性回归为例：

step1: 假设1个线性模型

step2: 给出优化目标：最小化loss function

loss function图例：

 每个点（w,b) 表示1个模型，颜色越深表示模型越优

step3: 筛选出最优参数（模型）

 筛选最优参数的工具之一：梯度下降法

直至收敛

可能存在的问题：

问题1：陷于局部最优（Stuck at local minima）

问题2：陷于鞍点（Stuck at saddle point）

问题3：在plateau处优化速度变慢（Very slow at the plateau）

step4(1): 调整模型 （加入新参数/引入非线性项...）

 评估调整效果的指标：训练集和测试集的平均误差

过拟合问题：

引入新参数过程中，（往往）训练集平均误差下降，而测试集平均误差上升

这种现象即是过拟合

解决办法：加入正则项

参数波动规律：

wi越小，输出受输入波动影响越小，曲线越平滑，拟合效果（按照经验/一般情况下）越好

 λ 取一个适当的量 

 数学上我们用拉格朗日法解出 w, λ,...

图片和数字来自李宏毅《机器学习》