强化学习笔记：随机高斯策略

最新推荐文章于 2024-08-10 08:57:16 发布

UQI-LIUWJ

最新推荐文章于 2024-08-10 08:57:16 发布

阅读量2k

点赞数 5

分类专栏：强化学习文章标签：强化学习

本文链接：https://blog.csdn.net/qq_40206371/article/details/125035305

版权

强化学习专栏收录该内容

58 篇文章 61 订阅

订阅专栏

1 自由度是1的情况

自由度是1，也就是说动作a是实数，动作空间A是实数集R的一个子集。
我们记动作的均值为μ(s)，标准差为σ(s)，于是我们可以用正态分布的概率密度函数作为策略函数： $\pi(a|s)=\frac{1}{\sqrt{2\pi} \cdot \sigma(s)} \cdot \exp(\frac{[a-\mu(s)]^2}{2 \cdot \sigma ^2(s)})$
假如我们知道函数μ(s)和σ(s)的解析式，那么我们可以用以下几步做控制（做控制——找agent需要执行的动作a）：
- 观测到当前状态s，预测均值 $\hat{\mu}=\mu(s)$ ，标准差 $\hat{\sigma}=\sigma(s)$
- 从正态分布中做随机抽样： $a \sim N(\hat{\mu},\hat{\sigma}^2)$
- 智能体执行动作a
一个很自然的想法，就是用神经网络来近似μ(s)和σ(s)
- 在实践中，我们不是直接近似标准差σ，而是近似方差对数 $\rho(s;\theta)= \ln \sigma^2$

在均值网络和方差对数网络下，我们的策略网络为：

$\pi(a|s;\theta)=\frac{1}{\sqrt{2\pi\cdot exp[\rho(s;\theta)]} } \cdot \exp(\frac{[a-\mu(s;\theta)]^2}{2 \cdot exp[\rho(s;\theta)]})$

2 随机高斯策略网络

假设动作是d维向量，那么此时μ(s;θ)和ρ(s;θ)都是d维向量。

用标量 $a_i$ 表示动作向量a的第i个元素。

$\mu_i(s;\theta),\rho_i(s;\theta)$ 分别表示μ(s;θ)和ρ(s;θ)的第i个元素。

此时我们用多元正态分布的概率密度函数作为策略网络：

$\pi(a|s;\theta)=\prod_{i=1}^d \frac{1}{\sqrt{2\pi\cdot exp[\rho_i(s;\theta)]} } \cdot \exp(\frac{[a_i-\mu_i(s;\theta)]^2}{2 \cdot exp[\rho_i(s;\theta)]})$

——>做控制的时候，只需要μ(s;θ)和ρ(s;θ)即可

做训练的时候，我们需要引入辅助网络f(s,a;θ)

它的具体定义如下

（它的可训练参数都是μ(s;θ)和ρ(s;θ)中的参数）

把 $\pi(a|s;\theta)=\prod_{i=1}^d \frac{1}{\sqrt{2\pi\cdot exp[\rho_i(s;\theta)]} } \cdot \exp(\frac{[a_i-\mu_i(s;\theta)]^2}{2 \cdot exp[\rho_i(s;\theta)]})$ 代入，不难发现：