1、随机策略
1.1 随机策略公式为：
![\[ \pi_{\theta}\left(a|s\right)=P\left[a|s;\theta\right] \]](https://i-blog.csdnimg.cn/blog_migrate/b13bb702a9b5bfdf01bcdda8d20018cb.png)
这里的P是一个概率函数，就是说，在给定状态和参数的情况下，输出的的动作服从一个概率分布，也就意味着每次走进这个状态的时候，输出的动作可能不同。
1.2 随机策略梯度公式为：
![\[ \nabla_{\theta}J\left(\pi_{\theta}\right)=E_{s\sim\rho^{\pi},a\sim\pi_{\theta}}\left[\nabla_{\theta}\log\pi_{\theta}\left(a|s\right)Q^{\pi}\left(s,a\right)\right] \]](https://i-blog.csdnimg.cn/blog_migrate/c452eebc5ea118ce7158656d92895991.png)
表明，策略梯度公式是关于状态和动作的期望，在求期望时，需要对状态分布和动作分布进行求积分。这就要求在状态空间和动作空间采集大量的样本，这样求均值才能近似期望。
2、确定性策略
2.1 确定策略公式为：
梳理确定性策略梯度，随机策略梯度，AC，DPG，DDPG之间的联系
最新推荐文章于 2024-04-16 15:25:52 发布
最低0.47元/天 解锁文章
9687
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
