吴恩达机器学习笔记之大规模机器学习

学习大数据集：

假如我们有非常多的数据，假如说一亿个数据来训练我们的模型，那么我们的计算代价是非常大的。为了更好的解决这个问题，我们首先想的是我们有没有必要用这么多的数据，我们前面已经提到过可以画出学习曲线，看我们的模型是否存在高偏差或者高方差的问题。

如上图第一幅图所示：我们知道我们的模型存在高方差的问题，那么我们可以采取用更多的数据训练模型来解决，但是如果我们的模型存在高偏差的问题，那么我们完全没有必要用更多的数据进行训练，因为这样起不到很大的作用。

我们接下来会介绍两种用于大规模机器学习的两种方法，用来提高学习速度，一种叫做随机梯度下降；另一种叫做减少映射。

随机梯度下降（Stochastic Gradient Descent ）：

在最开始介绍梯度下降的时候我们知道，我们的梯度下降方法也可以叫做批量梯度下降 。但是这样的话，当数据量非常大时，计算代价是非常昂贵的。