回归
Regression就是找到一个函数function,通过输入x,输出一个连续值y
模型步骤
- step1:模型假设
- 选择模型框架(线性模型,即Linear model)
- 注意:
- 线性模型不等价于线性函数,前者包含后者
- 线性模型不存在local minima的情况
- step2:模型评估
- 如何判断众多模型的好坏(损失函数,即Loss function)
- step3 :模型优化
- 如何筛选最优的模型(梯度下降,即Gradient descent)
过拟合现象及优化
当我们在不断优化模型的过程中,将训练集数据本身的一些特征当做整个模型的普遍特征时,容易出现在训练集上的误差比较小,而在测试集上的误差比较大,这种情况就叫做过拟合现象。当然,与之对应的还有欠拟合现象。
优化方案
- 方案1:2个input的四个线性模型合并到一个线性模型中
- 方案2:希望模型更强大表现更好(引入更多参数,更多input)
- 方案3:加入正则化
总结
李老师的讲述让我对回归及其应用、梯度下降、过拟合及其优化有了近一步的了解。