梯度下降

1.批量梯度下降

缺点：当m很大时，计算量非常大，耗时

1.随机梯度下降（一般情况下不会完全收敛，只是接近全局最小）

判断是否收敛？以及什么时候调整学习率的值？

画出1000个数据随着梯度更新带来的代价函数的变化曲线，根据曲线去判断，好处是不需要遍历整个数据集。

（从左到右，从上到下的顺序）第一幅图是收敛时，蓝色为大学习率，红色为减小学习率可能得到的结果，第二张图是收敛时，增加样本数量可能得到的结果，第三幅图红色是增加样本数量相比1000可能收敛的结果，粉色是没有学习的情况，这是就要调整算法学习率、特征或者算法等东西，第四幅图是梯度下降发散，这是就要调小学习率。

随机梯度下降一般情况下不会完全收敛，只是接近全局最小，为了使其达到全局最小，可以设置学习率的值，使其随着时间变化而减小，如下图。迭代次数是指已经完成的迭代次数，但是这个还要花时间去确定两个常数的值。

2.mini-batch梯度下降算法（介于随机梯度下降和批量梯度下降算法之间）

优点：下降速度比随机梯度下降更快一些；更容易使用向量化思维实现并行

缺点：需要花时间确定b的取值

3.在线学习

传统的机器学习算法是批量模式的，假设所有的训练数据预先给定，通过最小化定义在所有训练数据上的经验误差得到分类器。这种学习方法在小规模规模上取得了巨大成功，但当数据规模大时，其计算复杂度高、响应慢，无法用于实时性要求高的应用。与批量学习不同，在线学习假设训练数据持续到来，通常利用一个训练样本更新当前的模型，大大降低了学习算法的空间复杂度和时间复杂度，实时性强。在大数据时代，大数据高速增长的特点为机器学习带来了严峻的挑战，在线学习可以有效地解决该问题。引自https://baijiahao.baidu.com/s?id=1594337146635999109&wfr=spider&for=pc

4.Mapreduce：

形象化一点就是，我有一份工作，但是如果我自己做，需要十天，但是分发给10个人，每个人做一部分，一天就做完了，最后汇总到我这里，，更新任务，再继续分发下去，从而实现减少并行，提高运行速度。