梯度下降法——批量和随机

在印象笔记里整理好后，这里居然不能直接粘贴图片，一个个公式截图放上来太麻烦，直接上图（看不清楚请点击图片右击——在新标签页中打开，可看清晰原图），见谅。

相关参考链接为：
批量梯度下降法的python代码实现
对于凸函数，梯度下降法保证全局最优值

和最小二乘法求取f（x）最小值的区别：
其实两者不是一个概念，最小二乘是一种原则，也是通过求损失函数f(x)对参数θ的偏导数，令每个偏导数都等于0，构建了n个参数的方程组求解参数。

1. 对于线性方程，最小二乘法可以直接通过公式求解参数向量， （此处x为参数向量，b为y值的向量，A为自变量样本的向量），但是数据量大的时候，这里涉及到的求逆计算代价高，有可能数值不稳定，并且有些矩阵不能求逆，所以一般来说大数据量时，这种公式不值得提倡。
2. 对于非线性方程，就不能用上述公式（或是先进行线性化后再求解），只能用迭代法去求解，而梯度下降法就是迭代法的一种，还有很多迭代法，实际运用中，一般采用迭代法求解。
3. 具体可参考下面链接：[http://www.zhihu.com/question/20822481](http://www.zhihu.com/question/20822481)