强化学习—— Target Network & Double DQN（解决高估问题，overestimate）

1TD算法

1. TD Target：$$y_t=r_t+\underset{a}{\max }Q(s_{t+1},a;W)$$
2. SGD:$$W\leftarrow W-\alpha \cdot (Q(s_t,a_t;W)-y_t)\cdot \frac{\partial Q(s_t,a_t;W)}{\partial W}$$
   TD Target中的部分基于Q，并用于更新Q自身。

2. 高估问题

使用TD 算法进行学习使得DQN出现高估问题（overestiamte），两个主要原因为：

1. TD Target比真实的动作价值更大（Maximization）。
2. Bootstrapping
   

2.1 Maximization

2.1.1 数学解释

1. 观测到实数：$$x_1,x_2,...,x_n$$
2. 对实数x增加均值为0的噪音，得到：$$Q_1,Q_2,...,Q_n$$
3. 均值为0的噪音并不影响增加前后的均值：$$E[mea{n}_i(Q_i)]=E[mea{n}_i(x_i)]$$
4. 添加均值为0的噪音会增加添加后的最大值：$$E[ma{x}_i(Q_i)]\ge E[ma{x}_i(x_i)]$$
5. 添加均值为0的噪音会减小添加后的最小值：$$E[mi{n}_i(Q_i)]\le E[mi{n}_i(x_i)]$$

2.1.2 动作价值函数的高估

1. 真实的动作价值为$$x(a_1),x(a_2),...,x(a_n)$$
2. 通过DQN得到有噪音的动作价值估计：$$Q(s_1,a_1;W),Q(s_2,a_2;W),...,Q(s_n,a_n;W)$$
3. 假设为无偏估计：$$\underset{a}{\mathrm{mean}}x(a)=\underset{a}{\mathrm{mean}}Q(s,a;W)$$
4. 则会产生如下高估：$$q=\underset{a}{\max }Q(s,a;W)\ge \underset{a}{\max }x(a)$$
5. t+1时刻真实动作价值函数的高估为：$$q=\underset{a}{\max }Q(s_{t+1},a;W)$$
6. 则TD Target为高估：$$y_t=\gamma \cdot q_{t+1}$$
7. 更新后的Q朝向TD Target，仍为高估。

2.2 Bootstrapping

自举：using an estimated value in the update step for the same kind of estimated value

1. 假设DQN已经高估了动作价值
2. 则t+1时刻的动作价值已经为高估：$$Q(s_{t+1},a;W)$$
3. 则t+1时刻的最优动作价值为进一步的高估：$$q_{t+1}=\underset{a}{\max }Q(s_{t+1},a,W)$$
4. 当t+1时刻的最优动作价值在用于更新Q网络时，则DQN的高估被进一步加剧。

2.3 高估是否有害

1. 均匀高估没有影响。因为关注相对大小，不关注绝对大小
2. 非均匀高估则会产生影响。
   DQN为非均匀高估：

• 使用一个transition去更新W：$$(s_t,a_t,r_t,s_{t+1})$$
• TD Target计算时：$$y_t高估了Q^{\star }(s_t,a_t)$$
• 梯度更新使得：$$Q(s_t,a_t;W)朝向y_t$$
• 因此：$$Q(s_t,a_t;W)高估了Q^{\star }(s_t,a_t)$$
• 而（s，a）在replay buffer中的频率不一样，（s，a）的频率越高，则：$$Q(s,a;W)会更多的高估Q^{\star }(s,a)$$

3. 高估的解决方案

3.1 Target Network

使用一个target 网络去计算TD targets，可以解决bootstrapping引起的高估问题。

3.1.1 Target Network的结构

$$Q(s,a,W^{-})$$
网络结构与DQN一致，但参数不一样：
$$W\ne W^{-}$$

3.1.2 学习方式

• 使用 DQN控制agent和收集经验：$$Q(s,a;W)for(s_t,a_t,r_t,s_{t+1})$$
• 使用Target Network计算TD Target：$$y_t=r_t+\gamma \cdot \underset{a}{\max }Q(s_{t+1},a,W^{-})$$
• TD error 为：$${\delta }_t=Q(s_t,a,W)-y_t$$
• SGD 更新网络参数：$$W\leftarrow W-\alpha \cdot (Q(s_t,a_t;W)-y_t)\cdot \frac{\partial Q(s_t,a_t;W)}{\partial W}$$
  Target Network的参数需要定期更新（periodically update）

1. 方法一：$$W\leftarrow W^{-}$$
2. 方法二：$$W\leftarrow \eta \cdot W+(1-\eta )\cdot W^{-}$$
   仍然无法避免高估

3.2 Double DQN

解决最大化造成的高估。

• 选择最优动作时使用DQN：$$a^{\star }=\underset{a}{\mathrm{argmax}}Q(s_{t+1},a;W)$$
• 评估动作价值时使用 Target Network：$$y_t=r_t+\gamma \cdot Q(s_{t+1},a^{\star };W^{-})$$
• Double DQN更好的原因：$$Q(s_{t+1},a^{\star };W^{-})\le \underset{a}{\max }Q(s_{t+1},a;W^{-})$$

4. 总结

• 最大化导致真实的动作价值被高估
• bootstrapping造成正反馈循环，导致高估
• Target Network能部分避免bootstrapping：$$W^{-}依赖于W$$
• Double DQN避免最大化造成的高估

网络学习方式	动作选择	价值评估
原始方式	DQN	DQN
Target Network	Target Network	Target Network
Double DQN	DQN	Target Network

本文内容为参考B站学习视频书写的笔记！

by CyrusMay 2022 04 10

我们在小孩和大人的转角
盖一座城堡
——————五月天（好好）——————