【机器学习笔记】第15章：大规模机器学习

第15章：大规模机器学习

15.1 随机梯度下降（Stochastic Gradient Descent）

已知梯度下降算法${\theta }_j:={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$，当数据集 $m$ 很大时，每一次更新 $\theta$ 所需的时间很长，何况需多次迭代，耗费时间太长。所以对此进行优化，有以下几种优化方法：

• Stochastic gradient descent
• Mini-batch gradient descent
• MapReduce

Stochastic gradient descent（随机梯度下降）的算法流程如下：
算法先根据 $(x^{(1)},y^{(1)})$对 $\theta$ 优化，然后根据 $(x^{(2)},y^{(2)})$ 对 $\theta$ 优化，依次优化至 $(x^{(m)},y^{(m)})$ ，与 Batch gradient descent 每次优化使用全部数据集不同。

注：算法不像Batch gradient descent每次优化都朝向梯度下降最大的地方移动，而是迂回的移动至一个接近全局最小值的值。
$\alpha =\frac{const1}{iterationNumber+const2}$，可使得学习率随时间的增加而减少，即每次移动的步长越来越小，尽可能接近最小值。

15.2 小批量梯度下降（Mini-batch Gradient Descent）

小批量梯度下降算法是介于批量梯度下降算法和随机梯度下降算法之间的算法，每计算 $b$ 个数据，便更新一次参数 $\theta$ 。

• Batch gradient descent：每次优化时，使用 $m$ 个数据
• Stochastic gradient descent：每次优化时，使用 $1$ 个数据
• Mini-batch gradient descent：每次优化时，使用 $b$ 个数据（ $b$ 为 mini-batch size），一般取2-10

Mini-batch gradient descent 的算法表示为：

15.3 MapReduce

MapReduce 算法的思想是，将数据分布式计算，然后再汇总起来。

例如，$m=400$ ，${\theta }_j:={\theta }_j-\alpha \frac{1}{400}{\sum }_{i=1}^{400}(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$ ，有四台计算机，可将数据集划分为四份：

• Machine 1：$(x^{(1)},y^{(1)}),...,(x^{(100)},y^{(100)})\to tem{p}_j^{(1)}={\sum }_{i=1}^{100}(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$
• Machine 2：$(x^{(101)},y^{(101)}),...,(x^{(200)},y^{(200)})\to tem{p}_j^{(2)}={\sum }_{i=101}^{200}(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$
• Machine 3：$(x^{(201)},y^{(201)}),...,(x^{(300)},y^{(300)})\to tem{p}_j^{(3)}={\sum }_{i=201}^{300}(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$
• Machine 4：$(x^{(301)},y^{(301)}),...,(x^{(400)},y^{(400)})\to tem{p}_j^{(4)}={\sum }_{i=301}^{400}(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

四台计算机分别计算，然后汇总 ${\theta }_j:={\theta }_j-\alpha \frac{1}{400}(tem{p}_j^{(1)}+tem{p}_j^{(2)}+tem{p}_j^{(3)}+tem{p}_j^{(4)})$

15.4 在线学习（online learning）

在线学习算法是指，对于一个成型的模型，每次有新的数据来临时，对参数进行更新，更新之后丢弃这个数据，因为不断有新的数据来临，所以不是用整个数据集一次性进行更新参数。