理解Online Learning

• online learning

  Online Learning的优化目标是整体的损失函数最小化。

  传统的训练方法，模型上线后，更新的周期会比较长（一般是一天，效率高的时候为一小时），这种模型上线后，一般是静态的（一段时间内不会改变），不会与线上的状况有任何互动，假设预测错了，只能在下一次更新的时候完成更正。Online Learning训练方法不同，会根据线上预测的结果动态调整模型。如果模型预测错误，会及时做出修正。因此，Online Learning能够更加及时地反映线上变化。

  Online Learning的流程包括：

  1. 将模型预测结果展现给用户；
  2. 然后收集用户的反馈数据；
  3. 再来训练模型；
  4. 形成闭环的系统。

• 实现方式

• Bayesian Online Learning

  贝叶斯方法能够比较自然地导出Online Learning的训练方法：给定参数先验，根据反馈计算后验，将其作为下一次预测的先验，然后再根据反馈计算后验

• Follow The Regularized Leader

  各大公司广泛使用的在线学习算法FTRL详解

• Reference

1. Online Learning算法理论与实践
2. Online Learning算法理论与实践
3. Online learning 的一些简单认识
4. 在线学习（Online Learning）导读