强化学习之Dueling DQN

注：本文续于《强化学习之DDQN》

Dueling DQN的思想是把神经网络中Q价值的输出分成两部分，第一部分是状态价值V，这部分价值由状态直接决定和Action无关。第二部分就是动作价值和状态价值的差值A，每一个Action都存在一个差值。这两部分构成了倒数第二层的神经网络，节点数为Action数+1。然后最后一层的Q值就可以直接由V和A相加构成。

$$Q=V+A$$
Dueling DQN和DDQN唯一不同的地方是网络结构，因此修改程序时只需要修改Network类即可。这种计算结构使得学习性能得到提高。优点在于与DQN相比，无论动作a如何，都可以逐步学习与V(s)相关的网络连接参数，因此学习的轮数比DQN更少，随着动作选择的增加，优势更加明显。

class Network(torch.nn.Module): 
    def __init__(self,n_in,n_mid,n_out): 
        super(Network,self).__init__() 
        self.fc1 = torch.nn.Linear(n_in,n_mid)
        self.fc2 = torch.nn.Linear(n_mid,n_mid) 
        self.fc3_adv = torch.nn.Linear(n_mid,n_out) 
        self.fc3_v = torch.nn.Linear(n_mid,1) 
    def forward(self,x): 
        h1 = F.relu(self.fc1(x))
        h2 = F.relu(self.fc2(h1))
        adv = self.fc3_adv(h2)
        # expand函数作用是采用复制的方式扩展一个维度的长度，-1指不改变长度，这里把V复制成和A数量一样多
        val = self.fc3_v(h2).expand(-1,adv.size(1))
        # V + A ,然后都减去A的平均值
        output = val + adv - adv.mean(1,keepdim = True).expand(-1.adv.size(1))
        return output

在实际操作中，我们通常需要减去一个平均值：

采用这种方法，虽然使得值函数V和优势函数A不再完美的表示值函数和优势函数(在语义上的表示)，但是这种操作提高了稳定性。而且，并没有改变值函数V和优势函数A的本质表示。如果只是简单相加，由于动作类型的不同，具有不同的偏置量，可能无法得到很好的学习，通过在一个节点内的输出加入另一个节点的信息，可以让神经网络在误差传递的过程中得到更加充分的学习。