第四章-基于神经网络方法求解RL-DQN代码
主要内容为题主在学习机器学习时记录的内容,主要为使用Parl的DQN的一些代码。
文章目录
- 第四章-基于神经网络方法求解RL-DQN代码
- 一、使用Parl的DQN代码
- 1.1 model
- 1.2 algorithm
- 1.2.1 DQN代码
- 1.2.2 learn函数
- 1.3 agent
- 1.3.1 build_program 与 learn 函数
- 1.3.2 sample 与 predict 函数
- 二、使用DQN玩MountianCar-v0
- 2.1 CartPole简介
- 2.2 Main 函数
- 2.2.1 流程图
- 2.2.2 代码
- 2.3 训练和评估
- 2.3.1 训练
- 2.3.2 评估
- 2.4 整体代码和运行结果
一、使用Parl的DQN代码
1.1 model
gent把产生的数据传给algorithm,algorithm根据model的模型结构计算出Loss,使用SGD或者其他优化器不断的优化。
model类将继承parl.Model ,主要实现value函数,用来输出价值。
这里定义了三层的全连接网络,使用时直接调用value函数,输入obs,即可输出Q值。
class Model(parl.Model):
def __init__(self, act_dim):
hid1_size = 128
hid2_size = 128
# 3层全连接网络
self.fc1 = layers.fc(size=hid1_size, act='relu')
self.fc2 = layers.fc(size=hid2_size, act='relu')
self.fc3 = layers.fc(size=act_dim, act=None)
def value(self, obs):
# 定义网络
# 输入state,输出所有action对应的Q,[Q(s,a1), Q(s,a2), Q(s,a3)...]
h1 = self.fc1(obs)
h2 = self.fc2(h1)
Q = self.fc3(h2)
return Q
1.2 algorithm
1.2.1 DQN代码
Algorithm主要定义了具体的算法来更新Model网络。DQN的算法代码为:
# from parl.algorithms import DQN # 也可以直接从parl库中导入DQN算法
class DQN(parl.Algorithm):
def __init__(self, model, act_dim=None, gamma=None, lr=None):
""" DQN algorithm
Args:
model (parl.Model): 定义Q函数的前向网络结构
act_dim (int): action空间的维度,即有几个action
gamma (float): reward的衰减因子
lr (float): learning rate 学习率.
"""
self.model = model
self.target_model = copy.deepcopy(model)
assert isinstance(act_dim, int)
assert isinstance(gamma, float)
assert isinstance(lr, float)
self.act_dim = act_dim
self.gamma = gamma
self.lr = lr
def predict(self, obs):
""" 使用self.model的value网络来获取 [Q(s,a1),Q(s,a2),...]
"""
return self.model.value(obs)
def learn(self, obs, action, reward, next_obs, terminal):
""" 使用DQN算法更新self.model的value网络
"""
# 从target_model中获取 max Q' 的值,用于计算target_Q
next_pred_value = self.target_model.value(next_obs)
best_v = layers.reduce_max(next_pred_value, dim=1)
best_v.stop_gradient = True # 阻止梯度传递
terminal = layers.cast(terminal, dtype='float32')
target = reward + (1.0 - terminal) * self.gamma * best_v
pred_value = self.model.value(obs) # 获取Q预测值
# 将action转onehot向量,比如:3 => [0,0,0,1,0]
action_onehot = layers.one_hot(action, self.act_dim)
action_onehot = layers.cast(action_onehot, dtype='float32')
# 下面一行是逐元素相乘,拿到action对应的 Q(s,a)
# 比如:pred_value = [[2.3, 5.7, 1.2, 3.9, 1.4]], action_onehot = [[0,0,0,1,0]]
# ==> pred_action_value = [[3.9]]
pred_action_value = layers.reduce_sum(
layers.elementwise_mul(action_onehot, pred_value), dim=1)
# 计算 Q(s,a) 与 target_Q的均方差,得到loss
cost = layers.square_error_cost(pred_action_value, target)
cost = layers.reduce_mean(cost)
optimizer = fluid.optimizer.Adam(learning_rate=self.lr) # 使用Adam优化器
optimizer.minimize(cost)
return cost
def sync_target(self):
""" 把 self.model 的模型参数值同步到 self.target_model
"""
self.model.sync_weights_to(self.target_model)
也可以直接从Parl库中导入DQN算法。
1.2.2 learn函数
因为learn函数中调用了很多写好的函数,所以这里来详细讲一下。
- 总体分为三部分,第一部分计算target_Q, 第二部分计算预测值,第三部分得到loss,放到优化器里面优化。
- learn的输入为一批经验,传进来首先要计算target Q。
- target Q的计算需要用到这个公式,这个公式就是Qlearning的公式,该公式有一个if-else的条件,如果这条经验是episode的最后一条经验,它的目标值就是当前的r(因为没有下一步的状态),否则计算target Q。
- 这个if-else可以用一个小技巧来化解。首先将terminal(也就是之前提到的done)转换为浮点数,如果是true就是1,false就是0。再被1.0减后乘以gamma和best,就实现了if-else的功能。
- 之后我们要计算Q预测,Q预测的输入为obs,之后我们得到的pred-value是一个向量(吧,这里有点不理解),有多少个action(如果有四个动作上下左右,那么就有四个维度,0-0-0-0,选择上时为1-0-0-0)就有多少个维度。它主要表示Q(s,a1),Q(s,a2),Q(s,a3),Q(s,a4),Q(s,a5)。然后将action转为onehot向量,在与pred-value按位相乘,再加起来,就可以拿到你要的QSA。
- 之后我们计算QSA与target Q的均方差。(直接使用layers下面的函数)
- 再将均方差扔进adam的优化器中。(直接调用Adam)
- target Q有一个阻止梯度传递的操作,因为target Q用到了 taeget model的值,但是target model的参数需要固定不动,所以我们需要加这一行来切断联系。
1.3 agent
1.3.1 build_program 与 learn 函数
- 核心的算法都在algorithm中,agent负责与环境交互
- 数据传过来后付给这些变量,他们的定义在build_program 中
class Agent(parl.Agent):
def __init__(self,
algorithm,
obs_dim,
act_dim,
e_greed=0.1,
e_greed_decrement=0):
assert isinstance(obs_dim, int)
assert isinstance(act_dim, int)
self.obs_dim = obs_dim
self.act_dim = act_dim
super(Agent, self).__init__(algorithm)
self.global_step = 0
self.update_target_steps = 200 # 每隔200个training steps再把model的参数复制到target_model中
self.e_greed = e_greed # 有一定概率随机选取动作,探索
self.e_greed_decrement = e_greed_decrement # 随着训练逐步收敛,探索的程度慢慢降低
def build_program(self):
self.pred_program = fluid.Program()
self.learn_program = fluid.Program()
with fluid.program_guard(self.pred_program): # 搭建计算图用于 预测动作,定义输入输出变量
obs = layers.data(
name='obs', shape=[self.obs_dim], dtype='float32')
self.value = self.alg.predict(obs)
with fluid.program_guard(self.learn_program): # 搭建计算图用于 更新Q网络,定义输入输出变量
obs = layers.data(
name='obs', shape=[self.obs_dim], dtype='float32')
action = layers.data(name='act', shape=[1], dtype='int32')
reward = layers.data(name='reward', shape=[], dtype='float32')
next_obs = layers.data(
name='next_obs', shape=[self.obs_dim], dtype='float32')
terminal = layers.data(name='terminal', shape=[], dtype='bool')
self.cost = self.alg.learn(obs, action, reward, next_obs, terminal)
def learn(self, obs, act, reward, next_obs, terminal):
# 每隔200个training steps同步一次model和target_model的参数
if self.global_step % self.update_target_steps == 0:
self.alg.sync_target()
self.global_step += 1
act = np.expand_dims(act, -1)
feed = {
'obs': obs.astype('float32'),
'act': act.astype('int32'),
'reward': reward,
'next_obs': next_obs.astype('float32'),
'terminal': terminal
}
cost = self.fluid_executor.run(
self.learn_program, feed=feed, fetch_list=[self.cost])[0] # 训练一次网络
return cost
1.3.2 sample 与 predict 函数
sample函数与Q-learning函数相同,即有一定概率取最优值,一定概率做动作。
sample:
def sample(self, obs):
sample = np.random.rand() # 产生0~1之间的小数
if sample < self.e_greed:
act = np.random.randint(self.act_dim) # 探索:每个动作都有概率被选择
else:
act = self.predict(obs) # 选择最优动作
self.e_greed = max(
0.01, self.e_greed - self.e_greed_decrement) # 随着训练逐步收敛,探索的程度慢慢降低
return act
predict用来获取计算的q值。
def predict(self, obs): # 选择最优动作
obs = np.expand_dims(obs, axis=0)
pred_Q = self.fluid_executor.run(
self.pred_program,
feed={'obs': obs.astype('float32')},
fetch_list=[self.value])[0]
pred_Q = np.squeeze(pred_Q, axis=0)
act = np.argmax(pred_Q) # 选择Q最大的下标,即对应的动作
return act
二、使用DQN玩MountianCar-v0
2.1 CartPole简介
CartPole应该是强化学习界的hello world,他是移动小车维持杆子平衡的游戏。
它的状态值为2维的向量,包含 小车位置 、小车速度
它的动作有3个:0-小车向左移、1-不动、2-右移。
它的奖励为:每一个step奖励-1,直到终止。
终止条件为:到达终点,episode超过两百个steps。
我们的目标是使用强化学习DQN使得在步数最少的情况下到达终点。
2.2 Main 函数
2.2.1 流程图
2.2.2 代码
因为agent、algorithm、model都是写好的,可以直接调用。
main函数中有一点是需要预先往经验池中放一些数据,存满后再从里面随机挑选。
env = gym.make('CartPole-v0') # CartPole-v0: 预期最后一次评估总分 > 180(最大值是200)
action_dim = env.action_space.n # CartPole-v0: 2
obs_shape = env.observation_space.shape # CartPole-v0: (4,)
rpm = ReplayMemory(MEMORY_SIZE) # DQN的经验回放池
# 根据parl框架构建agent
model = Model(act_dim=action_dim)
algorithm = DQN(model, act_dim=action_dim, gamma=GAMMA, lr=LEARNING_RATE)
agent = Agent(
algorithm,
obs_dim=obs_shape[0],
act_dim=action_dim,
e_greed=0.1, # 有一定概率随机选取动作,探索
e_greed_decrement=1e-6) # 随着训练逐步收敛,探索的程度慢慢降低
# 加载模型
# save_path = './dqn_model.ckpt'
# agent.restore(save_path)
# 先往经验池里存一些数据,避免最开始训练的时候样本丰富度不够
while len(rpm) < MEMORY_WARMUP_SIZE:
run_episode(env, agent, rpm)
max_episode = 2000
# 开始训练
episode = 0
while episode < max_episode: # 训练max_episode个回合,test部分不计算入episode数量
# train part
for i in range(0, 50):
total_reward = run_episode(env, agent, rpm)
episode += 1
# test part
eval_reward = evaluate(env, agent, render=False) # render=True 查看显示效果
logger.info('episode:{} e_greed:{} test_reward:{}'.format(
episode, agent.e_greed, eval_reward))
# 训练结束,保存模型
save_path = './dqn_model.ckpt'
agent.save(save_path)
2.3 训练和评估
2.3.1 训练
# 训练一个episode
def run_episode(env, agent, rpm):
total_reward = 0
obs = env.reset()
step = 0
while True:
step += 1
action = agent.sample(obs) # 采样动作,所有动作都有概率被尝试到
next_obs, reward, done, _ = env.step(action)
rpm.append((obs, action, reward, next_obs, done))
# train model
if (len(rpm) > MEMORY_WARMUP_SIZE) and (step % LEARN_FREQ == 0):
(batch_obs, batch_action, batch_reward, batch_next_obs,
batch_done) = rpm.sample(BATCH_SIZE)
train_loss = agent.learn(batch_obs, batch_action, batch_reward,
batch_next_obs,
batch_done) # s,a,r,s',done
total_reward += reward
obs = next_obs
if done:
break
return total_reward
训练的时候会使用sample,有动作探索。
训练时才更新Q算法。
2.3.2 评估
因为强化学习有不稳定性,就像人玩游戏也会有手感和运气特别好的时候。所以需要评估。
评估时使用predict,直接选最优的动作,且评估的时候不需要更新Q。
评估主要是进行五十次然后评估5次,求5次的平均值,这样只看评估值不看训练值就行。
def evaluate(env, agent, render=False):
eval_reward = []
for i in range(5):
obs = env.reset()
episode_reward = 0
while True:
action = agent.predict(obs) # 预测动作,只选最优动作
obs, reward, done, _ = env.step(action)
episode_reward += reward
if render:
env.render()
if done:
break
eval_reward.append(episode_reward)
return np.mean(eval_reward)
2.4 整体代码和运行结果
整体的代码和运行情况可以看这个https://aistudio.baidu.com/aistudio/projectdetail/3830224