A. 建模步骤:
step1:模型假设,选择模型框架
step2:模型评估,如何判断众多模型的好坏
step3:模型优化,如何筛选最优的模型
B.以线性回归为例:
step1: 假设1个线性模型
step2: 给出优化目标:最小化loss function
loss function图例:
每个点(w,b) 表示1个模型,颜色越深表示模型越优
step3: 筛选出最优参数(模型)
筛选最优参数的工具之一:梯度下降法
直至收敛
可能存在的问题:
问题1:陷于局部最优(Stuck at local minima)
问题2:陷于鞍点(Stuck at saddle point)
问题3:在plateau处优化速度变慢(Very slow at the plateau)
step4(1): 调整模型 (加入新参数/引入非线性项...)
评估调整效果的指标:训练集和测试集的平均误差
过拟合问题:
引入新参数过程中,(往往)训练集平均误差下降,而测试集平均误差上升
这种现象即是过拟合
解决办法:加入正则项
参数波动规律:
wi越小,输出受输入波动影响越小,曲线越平滑,拟合效果(按照经验/一般情况下)越好
λ 取一个适当的量
数学上我们用拉格朗日法解出 w, λ,...
图片和数字来自李宏毅《机器学习》