【机器学习笔记1.2】线性回归之梯度下降法求解

本博客仅为作者记录笔记之用，不免有很多细节不对之处。

还望各位看官能够见谅，欢迎批评指正。

线性回归是什么

我们先考虑最简单的一种情况：输入属性的数目只有一个，即

                                                     

均方误差是回归任务重最常用的性能度量，因此我们可以试图让均方误差最小化，即

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method）.

以上是参考周志华西瓜书，下面参考MIT笔记用梯度下降迭代得到w,b的算法。

梯度下降法求解线性回归模型

高级优化

除了梯度下降，还有共轭梯度法、BFGS(变尺度法)和L-BFGS(限制变尺度法)[2]，这些方法也可以用来计算代价函数J(θ)和偏导数项，使用这其中任何一个算法都不需要手动选择学习率α，而且他们往往比梯度下降收敛得更快。

参考文献

[1] 周志华. 机器学习

[2] 黄海广. MIT 机器学习教程