- 这个方法其实是基于蒙特卡洛方法,采样trajectory轨迹来估计动作价值(轨迹的discounted return)。
- 起初乍一看梯度策略算法(REINFORCE 算法)和dqn很像,网络都是输入为state,输出位action。但是输出其实是不一样的,策略函数输出的是概率,q网络输出的是action value。
- REINFORCE 算法的输出是经过softmax所以他的输出其实是概率,所以其实REINFORCE 算法是分类任务;
- 而dqn网络输出是不经过激活的,他是回归一个value,所以dqn是回归任务,看loss也可以看出来。
- REINFORCE 算法是基于蒙特卡洛方法,先根据先前的策略采样得到一个trajectory(轨迹),然后根据这个数据进行优化策略。
- 下面会讲到 其实loss就是一个G(discounted return)作为权重的log loss,所以假设吧很多很多trajectory放在一起看到花,可以看到同一个state下面,不同的action的权重不一样,那么网络就会去学习好的G的action的参数,所以策略会越来越好。
1 loss对比
1.1 REINFORCE 算法loss
log_prob = torch.log(self.policy_net(state).gather(1, action))
G = self.gamma * G + reward
loss = -log_prob * G # 每一步的损失函数
可以看到:
- loss 其实是一个log loss,G可以看做是加权,越大的return(G)策略越好,所以对网络参数优化的越多。
- log_prob 是state下面action的概率。所以要是这个action得到的G很高,那么他的权重就很高,那么就是好的,不好的话G就很低。
1.2 dqn算法loss
q_values = self.q_net(states).gather(1, actions) # Q值
# 下个状态的最大Q值
max_next_q_values = self.target_q_net(next_states).max(1)[0].view(-1, 1)
q_targets = rewards + self.gamma * max_next_q_values * (1 - dones) # TD误差目标
dqn_loss = torch.mean(F.mse_loss(q_values, q_targets)) # 均方误差损失函数
2 网络输出对比
2.1 REINFORCE 算法
class PolicyNet(torch.nn.Module):
def __init__(self, state_dim, hidden_dim, action_dim):
super(PolicyNet, self).__init__()
self.fc1 = torch.nn.Linear(state_dim, hidden_dim)
self.fc2 = torch.nn.Linear(hidden_dim, action_dim)
def forward(self, x):
x = F.relu(self.fc1(x))
return F.softmax(self.fc2(x), dim=1)
- 可以看到输出的是概率,所以说这个是基于策略(policy-based),因为策略的定义就是state下的action概率。基于价值(value-based)的是学习价值,也就是回归一个值出来。虽然最后都是取概率大的或者是值大的,但是区别就是这样。
2.2 dqn算法
class Qnet(torch.nn.Module):
''' 只有一层隐藏层的Q网络 '''
def __init__(self, state_dim, hidden_dim, action_dim):
super(Qnet, self).__init__()
self.fc1 = torch.nn.Linear(state_dim, hidden_dim)
self.fc2 = torch.nn.Linear(hidden_dim, action_dim)
def forward(self, x):
x = F.relu(self.fc1(x)) # 隐藏层使用ReLU激活函数
return self.fc2(x)
- 网络输出没有激活,输出的是值。