机器学习(3): 线性回归中 梯度下降法 和 最小二乘法的区别

在机器学习中，常看到线性回归有 最小二乘法 和 梯度下降法。

线性回归——最小二乘法 参见之前的博客：线性回归——最小二乘法小结

线性回归——梯度下降法 参见之前的两个博客：

1) 机器学习简介，单变量线性回归——梯度下降法 

2) 多变量线性回归——梯度下降法 

那么梯度下降法 和 最小二乘法的区别呢，其实二者主要在求解找到最优解时存在一些区别。

 

二者区别：

1 最小二乘法：

1) 一次计算即可得到最优解(全局最优解)，但极小值为全局最小值；

2) 当特征数量  大于10000时，因计算矩阵逆的时间复杂度(  )会很大；

3) 只适用于线性模型，不适用于逻辑回归等其他模型。

 

2 梯度下降法：

1) 需要选择学习率 ，需要多次迭代找到最优解(局部最优解)，极小值为局部最小值；

2) 当特征数量  大于10000时，也可以进行计算；

3) 适用于各种类型的模型。

总的来说，在机器学习中，最小二乘法只适用于线性模型(这里一般指线性回归)；而梯度下降适用性极强，一般而言，只要是凸函数，都可以通过梯度下降法得到全局最优值(对于非凸函数，能够得到局部最优解)。梯度下降法只要保证目标函数存在一阶连续偏导，就可以使用。

 

 

---

参考资料

[1] https://blog.csdn.net/zaishuiyifangxym/article/details/82024155

[2] https://blog.csdn.net/zaishuiyifangxym/article/details/81976716

[3]  https://blog.csdn.net/zaishuiyifangxym/article/details/82024155

[4] https://blog.csdn.net/sinat_27652257/article/details/80657397

[5] https://www.cnblogs.com/wangkundentisy/p/7505487.html 

[6] 机器学习(西瓜书). 公式推导解析