参考学习:https://github.com/datawhalechina/easy-rl
在强化学习里面,环境跟奖励函数不是你可以控制的,环境跟奖励函数是在开始学习之前,就已经事先给定的。你唯一能做的事情是调整Policy Network里面的策略(policy),使得可以得到最大的奖励。Policy Network里面会有一个策略, 这个策略决定了Policy Network的行为。策略就是给一个外界的输入,然后它会输出Policy Network现在应该要执行的行为。
网络的输入就是现在机器看到的东西,如果让机器打电玩的话,机器看到的东西就是游戏的画面。机器看到什么东西,会影响你现在训练到底好不好训练。举例来说,在玩游戏的时候, 也许你觉得游戏的画面前后是相关的,也许你觉得你应该让你的策略,看从游戏初始到现在这个时间点,所有画面的总和。你可能会觉得你要用到 RNN 来处理它,不过这样子会比较难处理。要让你的机器,你的策略看到什么样的画面,这个是你自己决定的。让你知道说给机器看到什么样的游戏画面,可能是比较有效的。
上图就是具体的例子,
策略就是一个网络;
输入 就是画面,它通常是由像素(pixels)所组成的;
输出就是看看说有哪些选项是你可以去执行的,输出层就有几个神经元。
假设你现在可以做的行为有 3 个,输出层就是有 3 个神经元。每个神经元对应到一个可以采取的行为。
输入一个东西后,网络就会给每一个可以采取的行为一个分数。你可以把这个分数当作是概率。Policy Network就是看这个概率的分布,根据这个概率的分布来决定它要采取的行为。比如说 70% 会向左走,20% 向右走,10% 开火等等。概率分布不同,Policy Network采取的行为就会不一样。
首先,环境 是一个函数,游戏的主机也可以把它看作是一个函数,虽然它不一定是神经网络,可能是基于规则的(rule-based)规则,但你可以把它看作是一个函数。这个函数一开始就先吐出一个状态,也就是游戏的画面,接下来你的演员看到这个游戏画面 s_1s1 以后,它吐出 a_1a1,然后环境把 a_1a1 当作它的输入,然后它再吐出 s_2s2,吐出新的游戏画面。演员看到新的游戏画面,再采取新的行为 a_2a2,然后 环境再看到 a_2a2,再吐出 s_3s3。这个过程会一直持续下去,直到环境觉得说应该要停止为止。
在一场游戏里面,我们把环境输出的 ss 跟演员输出的行为 aa,把 ss 跟 aa 全部串起来, 叫做一个 Trajectory(轨迹)
你可以计算每一个轨迹发生的概率。假设现在演员的参数已经被给定了话,就是 \thetaθ。根据 \thetaθ,你其实可以计算某一个轨迹发生的概率,你可以计算某一个回合里面发生这样子状况的概率。
怎么算呢,如上式所示。在假设演员的参数就是 \thetaθ 的情况下,某一个轨迹 \tauτ 的概率就是这样算的,你先算环境输出 s_1s1 的概率,再计算根据 s_1s1 执行 a_1a1 的概率,这是由你策略里面的网络参数 \thetaθ 所决定的, 它是一个概率,因为你的策略的网络的输出是一个分布,演员是根据这个分布去做采样,决定现在实际上要采取的动作是哪一个。接下来环境根据 a_1a1 跟 s_1s1 产生 s_2s2,因为 s_2s2 跟 s_1s1 还是有关系的,下一个游戏画面跟前一个游戏画面通常还是有关系的,至少要是连续的, 所以给定前一个游戏画面 s_1s1 和现在演员采取的行为 a_1a1,就会产生 s_2s2。
这个概率取决于两部分,
一部分是 环境的行为, 环境的函数内部的参数或内部的规则长什么样子。 p(s_{t+1}|s_t,a_t)p(st+1∣st,at)这一项代表的是环境,环境这一项通常你是无法控制它的,因为那个是人家写好的,你不能控制它。
另一部分是 agent 的行为。你能控制的是 p_\theta(a_t|s_t)pθ(at∣st)。给定一个 s_tst,演员要采取什么样的 a_tat 会取决于演员的参数 \thetaθ, 所以这部分是演员可以自己控制的。随着演员的行为不同,每个同样的轨迹&#x