强化学习中DQN是如何更新网络参数的？

下面是DQN更新参数的流程框图：

如图所示，当前的状态为S(t)，通过eval net可以预测出current state对应的不同actions的Q值，然后通过greedy policy选择让Q值最大的actions进行状态转换。下一个时刻的状态我们设为S(t+1)，我们是通过Target net计算出下一个时刻对应的Q值Q(t+1),然后计算出Loss，更新Eval net。

那么网络是通过什么方式让agent会往Q值更高的方向挑选action，进而进行状态转换的呢？
举个例子，在当前状态S(t)下，我们通过网络可以计算出Q(t) = max Q(S(t)) = 0.4 ，然后转到下一个状态S(t+1),求出的Q(t+1) = max Q(S(t+1)) = 0.2 。这里需要强调的是，Q(t)和Q(t+1)其实没有多大关系的，这里的Q值是对状态的value的一种衡量，唯一的联系是因为在S(t)执行动作a，状态转换到了S(t+1)。这个过程我们也可以对执行a有一定的奖励r(t) = 0.1。然后开始更新Q(t) = r(t) + γQ(t+1)。Q(t)是变小了，这说明我们在状态S(t)的时候挑选出来的动作a是不好的，网络会在下次遇到相同情况避免去选择这个a了。这个就是更新的。那么
为什么DQN是朝着Q值变大的方向进行收敛呢？
我们可以从Q值更新的公式来分析：

其中α是learning rate，γ是discount factor。我们可以这样理解，α和γ是常数，在进行一次Q更新的过程中，本次状态的Q值为Q(S, A)不变，所以只有公式后一项是变化的，我们选择的策略是要根据下一时刻的状态S’去选择一个a让下一时刻的Q最大，假设我们在某次explore过程中发现了一个S’状态下的Q值很大**（肯定是可以发现的，因为会有一个概率随机选择action）**，根据这个公式，Q(S, A)肯定是会往大的方向变化的。最根本的原因就是max函数。