强化学习策略梯度梳理1 - REINFORCE（附代码）

主要参考文献 Reinforcement Learning: An introduction，Sutton
主要参考课程 Intro to Reinforcement Learning，Bolei Zhou
相关文中代码 https://github.com/ThousandOfWind/RL-basic-alg.git

策略梯度（PG）

首先定义遵从一般约定
$s\in \mathcal{S},a\in \mathcal{A}(s),\mathbf{\theta }\in {\mathbb{R}}^{d^{\prime }}$

既然策略是 π ( a ∣ s , θ ) = Pr ⁡ { A t = a ∣ S t = s , θ t = θ } \pi(a \mid s, \boldsymbol{\theta})=\operatorname{Pr}\left\{A_{t}=a \mid S_{t}=s, \boldsymbol{\theta}_{t}=\boldsymbol{\theta}\right\} π(a∣s,θ)=Pr{ At​=a∣St​=s,θt​=θ}
我们假设这个策略有表现$J\left(\mathbf{\theta }\right)$
我们希望能够根据$J$的梯度更新策略 ${\mathbf{\theta }}_{t+1}={\mathbf{\theta }}_t+\alpha \widehat{\nabla J\left({\mathbf{\theta }}_t\right)}$

方向导数本质上研究的是函数在某点处沿某特定方向上的变化率问题，梯度反映的是空间变量变化趋势的最大值和方向。方向导数与梯度在微分学中有重要的运用。
具体等我把相关算法搞定再去看高数

这样问题就变成了怎么把表现和策略联合起来
然后sutton就说了，既然如此
$J(\mathbf{\theta })\doteq v_{{\pi }_{\mathbf{\theta }}}\left(s_0\right)$
$v_{\pi }(s)=\left[{\sum }_a\pi (a\mid s)q_{\pi }(s,a)\right]$
⚠️用状态$s_0$的价值是因为他还假设了条件$\gamma =1$，所以$v_{{\pi }_{\mathbf{\theta }}}\left(s_0\right)$ 实际上能够代表轨迹上的收益和
因此$J$的梯度可以参考状态值的梯度

∇ v π ( s ) = ∇ [ ∑ a π ( a ∣ s ) q π ( s , a ) ] ,  for all  s ∈ S = ∑ a [ ∇ π ( a ∣ s ) q π ( s , a ) + π ( a ∣ s ) ∇ q π ( s , a ) ] = ∑ a [ ∇ π ( a ∣ s ) q π ( s , a ) + π ( a ∣ s ) ∇ ∑ s ′ , r p ( s ′ , r ∣ s , a ) ( r + v π ( s ′ ) ) ] = ∑ a [ ∇ π ( a ∣ s ) q π ( s