最小二乘法与梯度下降法区别？

一元线性回归。在机器学习中，预测值为离散的则为分类问题，预测值为连续的则为回归问题。一元线性回归则是，通过已知的n点数据进行函数y = ax + b参数a,b的计算。

对于误差error 如果为 y' - y, y'为预测值则会出现抵消问题。使用绝对值求导困难，所以使用均方差对误差进行衡量

最小二乘法

通过偏导为0，进行计算解出具体数值

梯度下降

一步一步进行迭代优化计算出具体数值

 

参考: https://blog.csdn.net/suibianshen2012/article/details/51532003