[强化学习]强化学习几个算法的绕口的改进技巧

强化学习几个算法的绕口的改进技巧：

终于大致看懂了， Q-Learning, DQN, Nature DQN，DDQN 之间的区别和关系，比较绕口，先记录下来，不知后面又感到混淆时，能否通过这几句记录重新搞清楚。

Q-Learning：在 每轮step后，根据得到的 next_state,reward;   更新Q(s,a);  y=reward+gama * Q(next_state,选择一个max action)
                                                Q_new(s,a)  = Q_old(s,a)  + alfa * ( y-Q_old(s,a) )
                       所以在Q-Learning中，一直保存着一个大矩阵 Q(s,a)
DQN：当s是连续的，Q(s，a）矩阵就没法存在。 只能用  Q(s,a) 函数替代，特别地当 Q(s,a) 是用神经网络来近似，
                        就是DQN: deep learning Q network
                       算法训练时，先缓存一些  now_state, now_action, reward, next_state
                        然后抽样出来一批，根据  now_state 计算目标 y, 
                             if is_stop, y=reward;
                             else y = reward+gama * max( Q(next_state, next_action);  其中选一个Q值最大的 next_action
                        然后，调整 网络参数w，使得 Q(now_state,now_action)  靠近 y
Nature DQN:  因为DQN中， 计算y值时使用当前的Q网络，而后又马上调整Q网络，用Q网络去选择下面的action，不容易收敛。
                      所以作如下改进， 在计算y时，用的Q1网络，Q1网络是Q网络的copy，但是不是实时更新，定期更新即可；
DDQN：上面 Nature DQN，在后面选择  maxQ值时用的 是  Q1( next_state, action)，选择最大的Q1值; 
                        DDQN作如下改进，选择next_action时，用Q(next_state,action) 选出最大的Q值的action_max， 
                         再用这个action代入  Q1(next_state,action_max)来计算y;