线性回归方法之最小二乘法、梯度下降法概念区分

https://www.zhihu.com/question/24095027        

知乎：在进行线性回归时，为什么最小二乘法是最优方法？

https://www.cnblogs.com/BYRans/p/4700202.html

线性回归、梯度下降（Linear Regression、Gradient Descent）

转载请注明出自BYRans博客：http://www.cnblogs.com/BYRans/

最小二乘法的目标：求误差的最小平方和，对应有两种：线性和非线性。线性最小二乘的解是closed-form即，而非线性最小二乘没有closed-form，通常用迭代法求解。

迭代法，即在每一步update未知量逐渐逼近解，可以用于各种各样的问题（包括最小二乘），比如求的不是误差的最小平方和而是最小立方和。

梯度下降是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）。高斯-牛顿法是另一种经常用于求解非线性最小二乘的迭代法（一定程度上可视为标准非线性最小二乘求解方法）。

还有一种叫做Levenberg-Marquardt的迭代法用于求解非线性最小二乘问题，就结合了梯度下降和高斯-牛顿法。

所以如果把最小二乘看做是优化问题的话，那么梯度下降是求解方法的一种，是求解线性最小二乘的一种，高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。

具体可参考维基百科（ Least squares, Gradient descent, Gauss-Newton algorithm, Levenberg-Marquardt algorithm）

待实现思路：

1.双线性高斯信息粒：两种线性回归方法

2.修改最小二乘线性拟合的方式：先将数据值按照从大到小或从小到大顺序排序，再进行拟合（理论依据？？？）

3.局部加权回归？岭回归？随机梯度下降？   

参考：https://www.cnblogs.com/yangykaifa/p/7261316.html

https://wenku.baidu.com/view/344514b9783e0912a3162a4c.html?from=search