吴恩达机器学习笔记7-梯度下降III(Gradient descent intuition) --梯度下降的线性回归...

梯度下降算法和线性回归算法比较如图：

对我们之前的线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即：

　　我们刚刚使用的算法，有时也称为批量梯度下降。实际上，在机器学习中，通常不太会
给算法起名字，但这个名字”批量梯度下降”，指的是在梯度下降的每一步中，我们都用到了
所有的训练样本，在梯度下降中，在计算微分求导项时，我们需要进行求和运算，所以，在
每一个单独的梯度下降中，我们最终都要计算这样一个东西，这个项需要对所有?个训练样
本求和。因此，批量梯度下降法这个名字说明了我们需要考虑所有这一"批"训练样本，而事
实上，有时也有其他类型的梯度下降法，不是这种"批量"型的，不考虑整个的训练集，而是
每次只关注训练集中的一些小的子集。在后面的课程中，我们也将介绍这些方法。
　　但就目前而言，应用刚刚学到的算法，你应该已经掌握了批量梯度算法，并且能把它应
用到线性回归中了，这就是用于线性回归的梯度下降法。

转载于:https://www.cnblogs.com/sl0309/p/10293901.html