大规模机器学习
large scale machine learning
在机器学习中,决定因素往往不是算法最优,而是谁的训练数据最多。
得到一个高性能的机器学习系统的最佳途径,如果你采用低偏差的学习算法,并进行大量的数据进行训练
高性能计算方法
- 第一个是“随机梯度下降法”。
- 第二个是“Mini-Batch梯度下降法”。
随机梯度下降法
大规模机器学习需要处理大量的数据,故而需要改进一般的梯度下降,采用“随机梯度下降法”。这将使我们的算法能应用于更大的训练集中。随机:随机打乱所有数据且遍历所有的训练样本。
Mini-Batch梯度下降算法
- “批量”梯度下降算法每次迭代,都要用到所有的m个样本。
- “随机”梯度下降算法每次迭代,只使用一个样本。
- Mini-Batch梯度下降算法,则介于两者之间。
在线学习机制
online learning setting,