玉心sober

梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的记录条数，j是参数的个数。

对于需要迭代计算的算法，MapReduce显然不可用，迭代n次的IO量太大，而基于消息的传递模型，BSP和MPI的优势就出来了。BSP的编程模型，试验过了，确实容易入门，只要将求解问题（例如，优化问题、图的最短路径问题等等）抽象成图模型（顶点Vertex、边Edge）后，再通过消息Message，来不断迭代求解即可。拿前面有篇文章，NMF的矩阵分解这个优化问题，来实验：1）NMF的矩阵分解基本