强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）

1. 动作空间

1.1 离散动作空间

• 比如: { l e f t , r i g h t , u p } \{left,right,up\} {left,right,up}
• DQN可以用于离散的动作空间（策略网络）
• 

1.2 连续动作空间

• 比如：$A=[0^{\circ }，180^{\circ }]\ast [0^{\circ },360^{\circ }]$
  
• 连续动作空间的两种处理方式：

1. 离散化（discretization）：比如机械臂进行二维网格划分。假设d为连续动作空间的自由度，动作离散化后的数量会随着d的增加呈现指数增长，从而造成维度灾难。
2. 使用确定策略梯度。
3. 使用随机策略梯度。

2. 确定策略梯度做连续控制

• 动作空间为$R^d$的一个子集

2.1 确定策略梯度推导

• 确定策略网络：$$a=\pi (s;\theta )$$
• 价值网络(输出为一个标量)：$$q(s,a;W)$$
  网络学习过程为：

1. 观测到一个transition：$(s_t,a_t,r_t,s_{t+1})$
2. 计算t时刻价值网络的函数值:$$q_t=q(s_t,a_t;W)$$
3. 计算t+1时刻价值网络的函数值：$$\begin{gathered} a_{t+1}^{-}=\pi (s_{t+1};\theta ) \\ {q}_{t+1}=q(s_{t+1},a_{t+1}^{-};W) \end{gathered}$$
4. TD Error为：${\delta }_t=q_t-(r_t+\gamma \cdot q_{t+1})$
5. 更新价值网络：$$W\leftarrow W-\alpha \cdot \frac{\partial q(s_t,a_t;W)}{\partial W}$$
6. 更新策略网络所需的策略梯度推导：$$\begin{gathered} 策略网络的目标为通过策略网络a=\pi (s;\theta ) \\ 做出的决策可以增加价值网络q=q(s,a;W)的值。 \\ 因此确定策略梯度（deterministicpolicygradient，DPG）为： \\ g=\frac{\partial q(s,\pi (s;\theta );W)}{\partial \theta }=\frac{\partial q(s.\pi (s;\theta );W)}{\partial \pi (s;\theta )}\cdot \frac{\partial \pi (s;\theta )}{\partial \theta } \end{gathered}$$
7. 依据确定策略梯度进行策略网络参数更新：$$\begin{gathered} g=\frac{\partial q(s,\pi (s;\theta );W)}{\partial \theta }=\frac{\partial q(s.\pi (s;\theta );W)}{\partial \pi (s;\theta )}\cdot \frac{\partial \pi (s;\theta )}{\partial \theta } \\ \theta \leftarrow \theta +\beta \cdot g \end{gathered}$$

2.2 确定策略梯度网络的改进

2.2.1 使用Target网络

Bootstrapping现象：

• TD Target为：${\delta }_t=q_t-(r_t+\gamma \cdot q_{t-1})$
• 价值网络使用到了自己的估计来更新自己，因而会造成连续高估或低估
• 解决方案为：使用不同的神经网络来进行TD Target计算

Target网络的核心思想：

1. 使用价值网络计算$t$时刻的价值函数值:$$q_t=q(s_t,a_t;W)$$
2. 使用另外两个结构与价值网络和策略网络一致的神经网络计算t+1时刻的价值函数值和动作向量：$$\begin{gathered} a_{t+1}^{-}=\pi (s_{t+1};{\theta }^{-}) \\ {q}_{t+1}=q(s_{t+1},a_{t+1}^{-};W^{-}) \end{gathered}$$

采用Target网络的具体学习步骤为：

1. 策略网络进行决策：$a_t=\pi (s_t;\theta )$
2. 采用确定策略梯度（DPG）更新策略网络:$$\theta \leftarrow \theta +\beta \cdot \frac{\partial q(s_t,\pi (s_t;\theta );W)}{\partial \pi (s_t;\theta )}\cdot \frac{\partial \pi (s_t;\theta )}{\partial \theta }$$
3. 计算t时刻的价值网络函数值：$$q_t=q(s_t,a_t;W)$$
4. 使用Target网络计算t+1时刻的价值：$$\begin{gathered} a_{t+1}^{-}=\pi (s_{t+1};{\theta }^{-}) \\ {q}_{t+1}=q(s_{t+1},a_{t+1}^{-};W^{-}) \end{gathered}$$
5. 计算TD Error：${\delta }_t=q_t-(r_t+\gamma \cdot q_{t+1})$
6. 更新价值网络的参数：$$W\leftarrow W-\alpha \cdot {\delta }_t\cdot \frac{\partial q(s_t,a_t;W)}{\partial W}$$

Target 网络的参数更新步骤为：

• 设定超参数$\tau \in [0,1]$
• 将价值网络、策略网络与Target网络的参数进行加权平均，从而实现参数更新：$$\begin{gathered} {\theta }^{-}=\tau \cdot \theta +(1-\tau )\cdot {\theta }^{-} \\ {W}^{-}=\tau \cdot W+(1-\tau )\cdot W^{-} \end{gathered}$$

2.2.2 其余改进

1. 经验回放（experience replay）
2. Multi-step TD Target

2.3 总结

/	随机策略网络	确定性策略网络
策略函数	$\pi (a|,s;\theta )$	$a=\pi (s;\theta )$
输出	动作空间的概率分布	确定的动作 $a$
决策方式	根据动作空间的概率分布进行随机抽样	直接输出一个动作$a$
应用场景	多用于离散控制	连续控制

3. 随机策略网络进行连续控制

3.1 基本概念

1. 折扣回报：$U_t=R_t+\gamma \cdot R_{t+1}+{\gamma }^2\cdot R_{t+2}+...$
2. 动作价值函数：$Q_{\pi }(s_t,a_t)=E[U_t|S_t=s_t,A_t=a_t]$
3. 状态价值函数：$V_{\pi }(s_t)=E_{A_t}[Q_{\pi }(s_t,A_t)]$
4. 策略梯度：$$\begin{gathered} \frac{\partial V_{\pi }(s_t)}{\partial \theta }=E_{A_t\sim \pi }[Q_{\pi }(s_t,A_t)\cdot \frac{\partial log(\pi (A_t|s_t;\theta ))}{\partial \theta }] \\ g(A_t)=Q_{\pi }(s_t,A_t)\cdot \frac{\partial log(\pi (A_t|s_t;\theta ))}{\partial \theta } \end{gathered}$$
5. 进行蒙特卡洛近似后的策略梯度为：$$\begin{gathered} a_t\sim \pi (\cdot |s_t;\theta ) \\ g(a_t)=Q_{\pi }(s_t,a_t)\cdot \frac{\partial log(\pi (a_t|s_t;\theta ))}{\partial \theta } \end{gathered}$$

3.2 策略网络

3.2.1 自由度为1的连续动作空间

• 假设$\mu$和$\sigma$为状态$s$的函数
• 假设策略函数为正态分布的概率密度函数：$$\pi (a|s)=\frac{1}{\sqrt{2\pi }\cdot \sigma }{e}^{-\frac{(a-\mu {)}^2}{2{\sigma }^2}}$$

3.2.2 自由度大于1（为$d$）的连续动作空间

• 动作空间为d维向量
• $\mu$和$\sigma$为状态$s$的函数：$s\to R^d$
• ${\mu }_i$和${\sigma }_i$为$\mu (s)$和$\sigma (s)$的第$i$个元素
• 则定义策略函数为：$$\pi (a|s)={\Pi }_{i=1}^d\frac{1}{\sqrt{2\pi }\cdot {\sigma }_i}{e}^{-\frac{(a-{\mu }_i{)}^2}{2{\sigma }_i^2}}$$

3.2.3 函数近似

• 对均值的近似：$\mu (s)\leftarrow \mu (s;{\theta }^{\mu })$
• 对方差的对数进行近似：$$\begin{gathered} {\rho }_i=log({\sigma }_i^2)i=1,2,...,d \\ \rho \leftarrow \rho (s;{\theta }^{\rho }) \end{gathered}$$

3.2.4 连续控制策略

1. 观测到状态$s_t$
2. 通过神经网络计算均值和方差：$$\begin{gathered} \hat{\mu }=\mu (s_t;\theta ) \\ \hat{\rho }=\rho (s_t;\theta ) \\ {\widehat{{\sigma }_i}}^2=e^{{\rho }_i}i=1,2,...,d \end{gathered}$$
3. 进行随机抽样得到动作$a$:$$a_i\sim N(\widehat{u_i},{\widehat{{\sigma }_i}}^2)i=1,2,...,d$$

3.2.5 添加辅助神经网络

1. 策略网络为：$$\begin{gathered} \pi (a|s;{\theta }^{\mu },{\theta }^{\rho })={\Pi }_{i=1}^d\frac{1}{\sqrt{2\pi }\cdot {\sigma }_i}\cdot e^{-\frac{(a-{\mu }_i{)}^2}{2{\sigma }_i^2}} \\ log(\pi (a|s;{\theta }^{\mu },{\theta }^{\rho }))=\sum _{i=1}^d[-log({\sigma }_i)-\frac{(a-{\mu }_i{)}^2}{2{\sigma }_i^2}]+const \\ log(\pi (a|s;{\theta }^{\mu },{\theta }^{\rho }))=\sum _{i=1}^d[-\frac{{\rho }_i}{2}-\frac{(a-{\mu }_i{)}^2}{2\cdot e^{{\rho }_i}}]+const \\ \log (\pi (a|s;{\theta }^{\mu },{\theta }^{\rho }))=f(s,a;\theta )\theta =({\theta }^{\mu },{\theta }^{\rho }) \end{gathered}$$
2. 定义上述的$f(s,a;\theta )$为辅助神经网络，则得到三个神经网络：$$\begin{gathered} \mu (s;{\theta }^{\mu })正态分布的均值 \\ \rho (s;{\theta }^{\rho })正态分布的对数方差 \\ f(s,a;\theta )辅助神经网络用于训练策略神经网络 \end{gathered}$$
3. 随机策略梯度为：$$\begin{gathered} g(a)=\frac{\partial log(\pi (a|s;\theta ))}{\partial \theta }\cdot Q_{\pi }(s,a) \\ f(s,a;\theta )=log(\pi (a|s;\theta ))+const \\ g(a)=\frac{\partial f(s,a;\theta )}{\partial \theta }\cdot Q_{\pi }(s,a) \end{gathered}$$

3.2.6 状态价值函数的近似

1. 使用reinforce算法:$$\begin{gathered} u_t=r_t+\gamma \cdot r_{t+1}+... \\ \theta \leftarrow \theta +\beta \cdot \frac{\partial f(s,a;\theta )}{\partial \theta }\cdot u_t \end{gathered}$$
2. 使用 A-C算法：$$\begin{gathered} Q_{\pi }\sim q(s,a;W) \\ \theta \leftarrow \theta +\beta \cdot \frac{\partial f(s,a;\theta )}{\partial \theta }\cdot q(s,a;W) \end{gathered}$$

4 总结

1. 连续动作空间有无穷多种动作数量
2. 解决方案包括：

• 离散动作空间，使用标准DQN或者策略网络进行学习，但是容易引起维度灾难
• 使用确定策略网络进行学习（但没有随机性）
• 随即策略网络（$\mu 与{\sigma }^2$）

3. 训练过程的技巧：

• 构造辅助神经网络$f(s,a;\theta )$计算策略梯度
• 策略梯度近似算法包括：reinforce、Actor-Critic算法
• 可以改进reinforce算法，使用带有baseline的reinforce算法
• 可以改进Actor-Critic算法，使用A2C算法

本文内容为参考B站学习视频书写的笔记！

时间是贼
偷走一切
————五月天（如烟）————

by CyrusMay 2022 04 13