强化学习--与环境因素交互

与环境因素交互

  无论是监督学习还是无监督学习，都不会着重于“数据实际上来自哪里，以及当机器学习模型生成结果时，究竟发生了什么”这点，一般地，我们在初期抓取大量数据，然后在不再与环境发生交互的情况下进行模式识别。这样的学习过程，都发生在算法和环境断开以后，这称作离线学习（offline learning）。
  强化学习（reinforcement learning） 和对抗学习（adversarial learning），这是两个会明确考虑与环境交互的问题。

会带来的问题和思考

  我们想要的是智能体（agent），而不仅仅是预测模型。意味着我们还要考虑选择恰当的动作（action），而动作会影响到环境，以及今后的观察到的数据。一旦考虑到要与周围环境交互，一系列的问题接踵而来。
  记得我们之前的行为吗？
  愿意帮助我们吗？比如，一个能识别用户口述内容的语音识别器。
  想要对抗我们？比如，一个对抗装置，类似垃圾邮件过滤（针对垃圾邮件发送者）或游戏玩家（针对对手）？
  啥都不管（就像大多数情况）？
  会动态地改变立场（随着时间表现稳定 vs 变化）？
  最后的这个问题，引出了协变量转移（covariate shift） 的问题（当训练和测试数据不同时）。这个坑想必不少人都经历过，平时的作业都是助教出题，而到了考试，题目却换成由课程老师编写。