动手学强化学习-策略梯度&&DQN变种

1. Double DQN的意义：为了解决神经网络对Q值估计过高的问题，将优化的TD误差目标选取action的那一项更新为：

2. Q值被过高估计的原因：

3. 为什么 Dueling DQN 会比 DQN 好？

• 部分原因在于 Dueling DQN 能更高效学习状态价值函数。每一次更新时，函数都会被更新，这也会影响到其他动作的值。而传统的 DQN 只会更新某个动作的值，其他动作的值就不会更新。因此，Dueling DQN 能够更加频繁、准确地学习状态价值函数。

4. Dueling DQN 能够很好地学习到不同动作的差异性，在动作空间较大的环境下非常有效

5. class PolicyNet(torch.nn.Module):
       def __init__(self, state_dim, hidden_dim, action_dim):
           super(PolicyNet, self).__init__()
           self.fc1 = torch.nn.Linear(state_dim, hidden_dim)
           self.fc2 = torch.nn.Linear(hidden_dim, action_dim)
   
       def forward(self, x):
           x = F.relu(self.fc1(x))
           # 这里采用在离散动作空间上的softmax()函数来实现一个可学习的多项分布（multinomial distribution）
           return F.softmax(self.fc2(x), dim=1)
   
   class REINFORCE:
       def __init__(self, state_dim, hidden_dim, action_dim, learning_rate, gamma,
                    device):
           self.policy_net = PolicyNet(state_dim, hidden_dim,
                                       action_dim).to(device)
           self.optimizer = torch.optim.Adam(self.policy_net.parameters(),
                                             lr=learning_rate)  # 使用Adam优化器
           self.gamma = gamma  # 折扣因子
           self.device = device
   
       def take_action(self, state):  # 根据动作概率分布随机采样
           state = torch.tensor([state], dtype=torch.float).to(self.device)
           probs = self.policy_net(state)
           # 创建一个动作概率分布 
           action_dist = torch.distributions.Categorical(probs)
           # 采样动作，action的数据类型就是一个动作序号
           action = action_dist.sample()
           # 之所以要吊用item函数就是为了从这个单元素张量中提取出Python的标准数据类型的值
           return action.item()
   
       def update(self, transition_dict):
           reward_list = transition_dict['rewards']
           state_list = transition_dict['states']
           action_list = transition_dict['actions']
   
           G = 0
           self.optimizer.zero_grad()
           # 经典反向计算预期回报
           for i in reversed(range(len(reward_list))):  # 从最后一步算起
               reward = reward_list[i]
               state = torch.tensor([state_list[i]],
                                    dtype=torch.float).to(self.device)
               action = torch.tensor([action_list[i]]).view(-1, 1).to(self.device)
               log_prob = torch.log(self.policy_net(state).gather(1, action))
               G = self.gamma * G + reward
               loss = -log_prob * G  # 每一步的损失函数
               loss.backward()  # 反向传播计算梯度
           self.optimizer.step()  # 梯度下降
   

6. Policy_Gradient是一个on-policy算法，之前收集到的轨迹数据不会被再次利用。相比于之前的值函数算法，会使用更多的序列进行训练。

   • 主要的不足之处：性能也有一定程度的波动，这主要是因为每条采样轨迹的回报值波动比较大

7. REINFORCE 算法是策略梯度乃至强化学习的典型代表，智能体根据当前策略直接和环境交互，通过采样得到的轨迹数据直接计算出策略参数的梯度，进而更新当前策略，使其向最大化策略期望回报的目标靠近。

8. 策略梯度这种学习方式是典型的从交互中学习，并且其优化的目标（即策略期望回报）正是最终所使用策略的性能，这比基于价值的强化学习算法的优化目标（一般是时序差分误差的最小化）要更加直接。 REINFORCE 算法理论上是能保证局部最优的，它实际上是借助蒙特卡洛方法采样轨迹来估计动作价值，这种做法的一大优点是可以得到无偏的梯度。但是，正是因为使用了蒙特卡洛方法，REINFORCE 算法的梯度估计的方差很大，可能会造成一定程度上的不稳定