人工智能教程 - 学科基础课程2.6 - 机器学习导论 18.大规模机器学习,高性能计算方法,在线学习机制简介

大规模机器学习

large scale machine learning

在机器学习中，决定因素往往不是算法最优，而是谁的训练数据最多。

得到一个高性能的机器学习系统的最佳途径，如果你采用低偏差的学习算法，并进行大量的数据进行训练

高性能计算方法

• 第一个是“随机梯度下降法”。
• 第二个是“Mini-Batch梯度下降法”。

随机梯度下降法

大规模机器学习需要处理大量的数据，故而需要改进一般的梯度下降，采用“随机梯度下降法”。这将使我们的算法能应用于更大的训练集中。随机：随机打乱所有数据且遍历所有的训练样本。

Mini-Batch梯度下降算法

• “批量”梯度下降算法每次迭代，都要用到所有的m个样本。
• “随机”梯度下降算法每次迭代，只使用一个样本。
• Mini-Batch梯度下降算法，则介于两者之间。

在线学习机制

online learning setting,

可以模型化问题,从大批的涌入又离开网站的用户身上进行学习用户的偏好,进而优化网站的决策。