学习理论-在线学习

之前的学习方法都是使用大量样本训练一个模型，然后使用模型去做预测，这里方法称为batch learning(批学习)。
这里让我们来看看另一种学习方式，online learning（在线学习）。
在线学习与批学习的不同之处是，在线学习在训练的同时也做出预测，之后系统将预测是否正确反馈给学习系统，进而更新参数。

假如我们有样本$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})$.首先输入样本$x^{(1)}$,模型会预测它的$y{(1)}$,之后将预测值与实际值比较–>检查模型是否预测正确–>是否更新参数，之后输入样本$x^{(2)}$做同样的操作。。。

为了便于叙述，这里以感知学习法为例,此时$y\in \{-1,1\}$.预测模型如下：

对于训练样本$(x,y)$,生成学习法按照下面的方式更新参数：
如果$h_\theta(x)=y$,即预测结果与实际值相同，那么参数不做改变，否则按如下方式更新参数:

$$\theta=\theta + yx$$

关于在线学习以后再做补充