DQN的多种改进（1）

1.N-step DQN

N-step DQN的核心是将bellman方程展开，即 $$Q(s_t,a_t)=r_t+\gamma r_{t+1}+{\gamma }^{2}ma{x}_{a^{\prime }}Q(s_{t+2},a^{\prime })$$
显然，这个式子可以进一步的拓展。 但要注意的是，这里假设了$a_t$是趋近于最优动作，因此才能省略max

书中提到，该方法的优点在于可以加速Q网络的收敛。 原因在于， 由于一开始的随机数据，使得真正准确的Q值其实只存在于最后一个状态。 因为只有最后一个状态的Q值等于reward是准确的，其余的都掺杂有不准确的target_Q网络的预测值。 而准确的Q值会在第一次迭代后影响到倒数第二层， 继而在下一次迭代后影响到倒数第三层。。 而如果使用N-step DQN， 可以使得准确的Q值在第一次迭代时就影响到倒数前N层，因此起到了加速收敛的作用。但是N值不能取得太大，因为每一步的a并不是最优动作，N值太大时会使得Q的计算严重出错，因为省略了max。且由于DQN off-policy的性质，a的值很可能来源于old policy， 从而影响性能。

2.Double DQN (DDQN)

一句话概括DDQN的改变就是下面这个式子：

$$Q(s_t,a_t)=r_t+\gamma ma{x}_{a^{\prime }}target\_Q(s^{\prime },argma{x}_{a^{\prime }}Q(s^{\prime },a^{\prime }))$$

比较一下DQN的式子：
$$Q(s_t,a_t)=r_t+\gamma ma{x}_{a^{\prime }\in A}target\_Q(s^{\prime },a^{\prime })$$
可以发现，区别在于 DDQN通过Q网络来选取a’， 而不是完全使用target_Q。 结果显示，这样可以防止Q网络的对value的过度预测，加快收敛。

3. Noise Network

之前的 $ϵ$-greedy 的探索方式其实并不好，而一种改进的策略就是在Network中加入noise。（可以认为该noise强迫网络进行探索，而由于noise也会加入后向传播的优化，所以也会逐渐收敛）。

1. 第一种方式： 对所有全连接层的每个权重，都加上一个高斯分布的噪声项进行干扰
2. 限制高斯变量只在一个有限的随机矩阵中取。

结论： 大大加速了收敛。