10、On-policy Control with Approximation

 

---

1、Episodic Semi-gradient Control

近似控制是求策略的动作值函数，$\hat{q}\approx q_{\pi }$ ，表示为权重向量 $\theta$ 的参数化函数。

一般的动作值预测的梯度下降更新为：

其中，one-step Sarsa方法（episodic semi-gradient one-step Sarsa）：


 

---

2、n-step Semi-gradient Sarsa

n-step 更新公式：

 

---

3、Average Reward: A New Problem Setting for Continuing Tasks

        由于折扣率（discounting rate）在近似计算中存在一些问题，折扣回报的平均值与平均奖励乘正比。在策略$\pi$下，折扣回报的平均值总是等于 $\eta (\pi )/(1-\gamma )$，也就是说其本质就是一个平均奖励 $\eta (\pi )$。

因此，在连续性任务中引入了平均奖励(Average Reward)：

在平均奖励设置中，回报是根据奖励与平均奖励之间的差异来定义的，也叫微分回报：

它的相关值函数叫微分值函数，其Bellman方程为：


TD errors：

其中，$\bar{R}$ 是平均奖励 $\eta (\pi )$ 的估计值。

平均奖励版本的半梯度Sarsa算法：


 

---

4、n-step Differential Semi-gradient Sarsa

微分形式的 n-step TD error：


其中，$\bar{R}$ 是平均奖励 $\eta (\pi )$ 的估计值，$n\ge 1$，$t+n<T$。如果 $t+n\ge T$，$G_t^{(n)}\doteq G_t$。