强化学习第一：基本概念

强化学习研究的问题，是代理（agent）与环境（environment）交互的问题。什么是代理，什么是环境，并没有严格的定义。计算机科学是一门经验主义学科。它不像数学那样有板有眼，它的很多概念都是从实际应用出发，因此有模棱两可的地方。一般来说，我们把不由我们完全控制的部分叫做环境；把我们可以完全控制对部分，同时能够影响环境的部分叫做代理。

例如，考虑一个10臂老虎机问题。当我们按动一条老虎机臂时，它会给我们一个回报（return）$R$。但是这个$R$的值是什么，我们无法完全控制的。因此，老虎机就是所谓的环境。环境不能完全控制，但我们可以影响环境。例如，我们可以选择按动老虎机的哪一条手臂。而按动手臂的主体就是代理。代理可能是我们自己，是一个虚拟的玩家，或者是一个机器人。环境与代理的关系，本质是输出与输入的关系。我们通过代理，“输入”某种操作（action），然后观察环境给我们“输出”的回报。

对于10臂老虎机问题而言，代理可以执行操作有10种，即按动1号老虎臂，按动2号老虎臂……直至按动10号老虎臂。我们把集合 A = { 1 , 2 , . . . 10 } \mathcal{A}=\{1,2,...10\} A={ 1,2,...10}叫做代理的操作集。代理的操作$a$是集合 A \mathcal{A}