不同点
最小二乘是指的列出最佳拟合的函数,梯度下降是一种求极值的一种方法。两者有本质区别。
最小二乘
最小二乘直接对其中每个θ求偏导数,如下图:
如上图可以看出,其不需要迭代计算。
梯度下降
经变换后算法:
α为步长。以上为迭代算法,缺点是在接近最小点时,收敛变慢。
附矩阵形式的算法,为非迭代:
X向量是训练集的特征向量,Y向量是训练集的真实值向量
最小二乘是指的列出最佳拟合的函数,梯度下降是一种求极值的一种方法。两者有本质区别。
最小二乘直接对其中每个θ求偏导数,如下图:
如上图可以看出,其不需要迭代计算。
经变换后算法:
α为步长。以上为迭代算法,缺点是在接近最小点时,收敛变慢。
附矩阵形式的算法,为非迭代:
X向量是训练集的特征向量,Y向量是训练集的真实值向量