dqn走迷宫 matlab_MATLAB大法好---强化学习工具箱探索

开始前，先附上Mathwork强化学习Toolbox介绍的官方页面；

怀着敬畏之心，我决定尝试一些Matlab大法的官方的强化学习demo，体验一下这种丝滑流畅的感觉；

第一个demo是一个双足机器人，采用的势Simscape和Multibody进行建模，用DDPG与TD3智能体进行测试，对性能进行比较；首先对这两种算法进行简单的介绍：

1. 关于DDPG(Deep Determinisitic Policy Gradient Agents)

这个算法在无人机、无人船、水下、多足等机器人场景中已经有着广泛的应用，其可以学习连续动作，而且确定性的策略非常容易去学。关键点如下：动作空间连续，状态空间连续或者离散场景；

在每个训练步骤使用随机噪声模型扰动策略所选择的动作(OU-Noise)；

经验池重放；

两套Actor与Critic网络，目标网络用于计算TD error；

Critic作用预估Q而不是V；Actor输出确定动作非概率分布，该动作可获得最大Q;

目标网络软更新；

offline policy;

2. 关于TD3(Twin-Delayed Deep Deterministic Policy Gradient Agents)之于DDPG就像Double DQN之于DQN；

避免对于Q值得过高估计；

一共有6个网络，Criticx2, Actorx1, Target Criticx2, Target Actorx1;

两种agents都在具有相同模型参数的Biped机器人环境上进行训练，并