强化学习笔记

定义

这些定义均来自于《神经网络与深度学习》这本书

强化学习基本要素

1. 状态s是对环境的描述，可以是离散的或连续的，其状态空间为$\mathcal{S}$
2. 动作a是对智能体行为的描述，可以是离散的或连续的，其动作空间为$\mathcal{A}$
3. 策略$\pi (a|s)$使智能体根据环境状态s来决定下一步动作a的函数
4. 状态转移概率$p(s^{\prime }|s,a)$使在智能体根据当前状态s做出一个动作a之后，环境在下一个时刻转变为状态s’的概率
5. 即时奖励$r(s,a,s^{\prime })$是一个标量函数，即智能体根据当前状态s做出动作a之后，环境会反馈给智能体的一个奖励，这个奖励也经常和下一个时刻的状态s’有关

确定性策略是从状态空间到动作空间的映射函数$\pi :\mathcal{S}\to \mathcal{A}$。随机性策略表示在给定环境状态时，智能体选择某个动作的概率分布。
$$\begin{gathered} \pi (a|s)\triangleq p(a|s) \\ \sum _{a\in \mathcal{A}}\pi (a|s)=1 \end{gathered}$$

马尔可夫决策过程

给定策略$\pi (a|s)$，马尔可夫决策过程的一个轨迹
$$\tau =s_0,a_0,s_1,r_1,a_1,\cdots ,s_{T-1},a_{T-1},s_T,r_T$$
的概率为
$$\begin{gathered} p(\tau )=p(s_0,a_0,s_1,a_1,\cdots ) \\ =p(s_0)\prod _{t=0}^{T-1}\pi (a_t|s_t)p(s_{t+1}|s_t,a_t) \end{gathered}$$

目标函数

给定策略$\pi (a|s)$，智能体和环境一次交互过程的轨迹$\tau$所收到的累积奖励为总回报
$$\begin{gathered} G(\tau )=\sum _{t=0}^{T-1}{r}_{t+1} \\ =\sum _{t=0}^{T-1}r(s_t,a_t,s_{t+1}) \end{gathered}$$

如果环境中没有终止状态（比如终身学习的机器人），即$T=\infty$，称为持续式任务，其总汇报可能是无穷大。为了解决这个问题，引入一个折扣率来降低远期回报的权重。折扣回报定义为
$$G(\tau )=\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}$$
其中$\gamma \in [0,1]$是折扣率。当$\gamma$接近于0时，智能体更在意短期汇报；而当$\gamma$接近于1时，长期回报变得更重要。

强化学习的目标是学习到一个策略${\pi }_{\theta }(a|s)$来最大化期望回报，即希望智能体执行一系列的动作来获得尽可能多的平均回报。强化学习的目标函数为
$$\mathcal{J}(\theta )=E_{\tau \sim p_{\theta }(\tau )}[G(\tau )]=E_{\tau \sim p_{\theta }(\tau )}[\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}]$$
其中$\theta$为策略函数的参数。

值函数

状态值函数$V^{\pi }(s)$表示从状态s开始，执行策略$\pi$得到的期望总回报
$$V^{\pi }(s)=E_{\tau \sim p(\tau )}[\sum _{t=0}^{T-1}{\gamma }^t{r}_{t+1}|{\tau }_{s_0}=s]$$
其中${\tau }_{s_0}$表示轨迹$\tau$的起始状态。

初始状态为s并进行动作a，然后执行策略$\pi$得到的期望总回报，称为状态-动作值函数：
$$Q^{\pi }(s,a)=E_{s^{\prime }\sim p(s^{\prime }|s,a)}[r(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })]$$
状态-动作值函数也经常称为Q函数。

公式

贝尔曼方程

根据马尔可夫性质，$V^{\pi }(s)$可展开得到贝尔曼方程，表示当前状态的值函数可以通过下个状态的值函数来计算
$$V^{\pi }(s)=E_{a\sim \pi (a|s)}{E}_{s^{\prime }\sim p(s^{\prime }|s,a)}[r(s,a,s^{\prime })+\gamma V^{\pi }(s^{\prime })]$$

Q函数

状态值函数$V^{\pi }(s)$是Q函数$Q^{\pi }(s,a)$关于动作a的期望，即
$$V^{\pi }(s)=E_{a\sim \pi (a|s)}[Q^{\pi }(s,a)]$$

Q函数的贝尔曼方程如下：
$$Q^{\pi }(s,a)=E_{s^{\prime }\sim p(s^{\prime }|s,a)}[r(s,a,s^{\prime })+\gamma E_{a^{\prime }\sim \pi (a^{\prime }|s^{\prime })}{Q}^{\pi }(s^{\prime },a^{\prime })]$$