本文重点
我们学习了随机梯度下降,以及梯度下降算法的变种(在线学习)。然而所有这些算法都只能在一台计算机上运行,但是有些机器学习问题因为数据集太大以至于不能够在一台计算机上运行,为了解决这个问题,本节我们讲解的大规模的机器学习称为映射约减,它比随机梯度下降能够处理更大规模的问题。
批量梯度下降
用批量梯度下降算法来求解大规模数据集的最优解,我们需要对整个训练集进行循环,计算偏导数和代价,再求和,计算代价非常大。
上面就是批量梯度下降算法,此时使用批量梯度下将算法计算量会很大(假设m=400数量量很大),因为我们可以使用映射化简的算法:
映射化简的算法
根据映射化简的思想,一种解决方案就是将训练集化成几个不同的子集。假定我们有4台计算机&#