本文探讨了如何使用映射约简算法解决因数据集过大导致的单机无法处理的问题。批量梯度下降在大数据集上计算成本高，通过将数据集划分为多个子集并分配给多台计算机，每台计算机计算部分样本的梯度，然后中心服务器合并结果进行参数更新，实现了并行计算，显著提升了效率。
本文重点
我们学习了随机梯度下降，以及梯度下降算法的变种（在线学习）。然而所有这些算法都只能在一台计算机上运行，但是有些机器学习问题因为数据集太大以至于不能够在一台计算机上运行，为了解决这个问题，本节我们讲解的大规模的机器学习称为映射约减，它比随机梯度下降能够处理更大规模的问题。
批量梯度下降
用批量梯度下降算法来求解大规模数据集的最优解，我们需要对整个训练集进行循环，计算偏导数和代价，再求和，计算代价非常大。
上面就是批量梯度下降算法，此时使用批量梯度下将算法计算量会很大（假设m=400数量量很大），因为我们可以使用映射化简的算法：
映射化简的算法
根据映射化简的思想，一种解决方案就是将训练集化成几个不同的子集。假定我们有4台计算机&#
订阅专栏 解锁全文
579
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
