开源项目 hand_dapg 使用教程
1. 项目的目录结构及介绍
hand_dapg 项目的目录结构如下:
hand_dapg/
├── dapg/
│ ├── examples/
│ │ └── dapg.txt
│ ├── ...
├── LICENSE
├── README.md
└── ...
dapg/
:包含项目的主要代码和示例。examples/
:包含示例配置文件dapg.txt
。
LICENSE
:项目许可证文件,采用 Apache-2.0 许可证。README.md
:项目介绍和使用说明。
2. 项目的启动文件介绍
项目的启动文件通常位于 dapg/
目录下,具体文件名和路径可能因版本更新而有所变化。建议参考 README.md
文件中的启动指南。
3. 项目的配置文件介绍
示例配置文件 dapg.txt
位于 dapg/examples/
目录下,内容如下:
{
"env": "relocate-v0",
"algorithm": "DAPG",
"seed": 123,
"num_cpu": 5,
"save_freq": 25,
"eval_rollouts": 25,
"exp_notes": "Example config for training policy using DAPG for the relocate-v0 task",
"demo_file": "/demonstrations/relocate-v0_demos.pickle",
"bc_batch_size": 32,
"bc_epochs": 5,
"bc_learn_rate": 1e-3,
"policy_size": [32, 32],
"vf_batch_size": 64,
"vf_epochs": 2,
"vf_learn_rate": 1e-3,
"rl_step_size": 0.05,
"rl_gamma": 0.995,
"rl_gae": 0.97,
"rl_num_traj": 200,
"rl_num_iter": 100,
"lam_0": 1e-2,
"lam_1": 0.95
}
配置文件包含以下主要部分:
env
:指定环境名称。algorithm
:指定使用的算法,这里是 DAPG。seed
:随机种子。num_cpu
:使用的 CPU 数量。save_freq
:保存频率。eval_rollouts
:评估轨迹数量。exp_notes
:实验备注。demo_file
:演示数据文件路径。bc_batch_size
:行为克隆的批次大小。bc_epochs
:行为克隆的训练周期。bc_learn_rate
:行为克隆的学习率。policy_size
:策略网络的大小。vf_batch_size
:价值函数的批次大小。vf_epochs
:价值函数的训练周期。vf_learn_rate
:价值函数的学习率。rl_step_size
:强化学习的步长。rl_gamma
:强化学习的折扣因子。rl_gae
:强化学习的广义优势估计参数。rl_num_traj
:强化学习的轨迹数量。rl_num_iter
:强化学习的迭代次数。lam_0
:DAPG 的参数 lam_0。lam_1
:DAPG 的参数 lam_1。
以上是 hand_dapg 项目的基本使用教程,详细内容请参考项目官方文档和 README.md
文件。