10 回归模型 --机器学习基础理论入门

10 回归模型 --机器学习基础理论入门

1.1 线性回归模型

梯度下降法

最小化损失函数常用方法就是梯度下降算法，如果要收敛到最小值附近，则函数须为凸函数。如果凹凸不平，不易得到整体最小值。在多元微分学中，梯度就是函数的导数方向。

沿着梯度方向可以保证能够快速达到极小值点。梯度方向就是函数在某个点的切线方向，即导数=0.

梯度下降算法推导过程

回归模型求解过程

三种线性回归模型

线性回归模型优缺点

优点
1） 形式简单，易于建模：同事蕴含机器学习中的基本思想（思想、策略、算法）
2） 可演变为其它模型：许多强大的非线性模型可以由此衍生而来
3） 可解释性好：模型中的权重系数可反映特征的重要性
缺点
1） 属于线性模型，模型拟合能力有限

1.2 本章小结

知识点回顾