本文,讨论batch-gradient和stochastic gradient descent的并行化。
首先来看batch-gradient。batch-gradient的每次更新都要在整个训练集上计算获得。比如,logistic regression的更新公式为:
(1)图片来自coursera上的《Machine Learning》截屏
因此若训练集很大(m很大),这种做法是十分耗时的。那何做到并行化呢?Andrew ng 在《Machine Learning》中便提到了机器学习的并行化:如果机器学习算法能表示成training set上函数的sum的形式(即上面公式),那么一个好的并行化选择是使用Map-reduce。一个Map-reduce job分两个阶段进行:map阶段和reduce阶段。因此可以将原本的sum公式(1)分解成几个小的sum公式,each由不同map task分别计算,最后由reduce task把map得到的结果进一步加和。
好,看来batch-gradient的并行化不是个很大的问题。但batch-gradient本身有缺陷:若机器学习算法(比如矩阵分解问题)面临的是一个非