[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(14)--梯度下降拓展

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，
Vive le peuple!

这个部分不难，就是拓展了几个梯度下降的方法而已

随机梯度下降

这是普通的线性回归的梯度下降（也叫批量梯度下降）

但是有一个问题，当它的m（训练集）数据量很大时，需要消耗很大的计算资源
所以随机梯度下降出来了
在求出损失函数后，我们将数据集随机打乱，之后每次梯度下降时只会取一个随机抽取的数据进行梯度下降

红色为批量梯度下降的学习曲线，粉色的为随机梯度下降的学习曲线
可以看出粉色的曲线非常的。。。但它大体是向最小值移动的，最后在最小值附近徘徊

检查梯度下降是否收敛

注意，一定要在更新梯度前进行损失函数的计算

之后每1000个点画一次损失函数的图像
损失函数图像举例
其中，最后一张图在发散，需要减小学习率

同时，为了能让学习算法能够在最后收敛，我们要想办法逐渐减小学习率
如下图就是一种方法(常数1/迭代书+常数2)

此算法适合于网站等有连续不断的数据流的情况，它能随时对到达的数据进行处理，而不需要等数据量达到一定程度才处理

mini-batch 梯度下降

与随机梯度不同，mb梯度下降将数据分成若干相同大小的组进行训练，当向量化做的好时，它的速度比随机梯度更快

实际上，还可以把这些打散的数据交给多个cpu核心来处理
(当然，其他的学习方式也可以用)