Online learning 的一些简单认识

Online learning 的一些简单认识

 

Online learning是机器学习中的一种方法。

其目的是正确预测数据的类别，并且在每次预测后，该结果用来更新修正预测模型，用于对以后数据进行更好的预测。

而不同于batch learning ，batch learning 生成的最好预测仅基于一次确定的数据训练集。

一般的，一种Online learning算法对于一个序列进行一系列处理可以分为三步：

第一步，算法获得一个训练实例；

第二步，算法预测训练实例的类别；

第三步，算法获得正确类别，并根据预测类别与正确类别更新模型假设。

Online learning 很好的应用在训练整个数据集在计算上不可行的情况，和一些要求算法动态适应型模式的情况。

 

 

对应的online learning 有两种通用的模型：statistical learning 模型和adversarial 模型。

 

statisticallearning 模型：数据样本是独立同分布的随机变量且不随时间变化，算法只是对数据的有限访问，即不是对整个数据集的计算。（如随机梯度下降，感知器）

 

adversarial模型：我们把问题看作是两个玩家之间的游戏(学习者和数据生成器