Online Learning、Offline Learning

参考

举个例子, 在玩俄罗斯方块的时候, 你只能看到当前的方块是什么(有可能还能看到下一个方块是什么), 你需要根据当前的方块进行决策, 这种基于当前信息的决策过程就是在线算法(online algorithm). 而当你能知道整个方块序列是什么的时候, 你可能会有不一样的决策, 比如"这个方块可以放在左边这个地方, 这样和10步以后的那个方块就能凑在一起消掉", 这种基于全局信息的决策过程就是离线算法(offline algorithm).

在机器学习(包括深度学习)中, "方块"指的是数据. 我们通常做的是离线学习(offline learning), 即我们手中有全部的训练数据.，直接训练好模型，在用于测试使用；而在线学习(online learning)数据可能是以流式的形式, 我们一次只能看到部分的数据, 我们只能根据目前看到的这部分的数据进行训练，不断地进行调整。