文章目录
模型概要
1、状态、决策空间(略)
状态空间:roll(X轴)、pitch(Y轴),以及沿这两个轴的角速度。
注意,状态空间中并没有使用所有可用的传感器测量值。例如,IMU还提供了基体的偏移(即x,y方向的偏移),有些imu还会提供加速度,这些我们都不考虑。我们排除这些值,是因为imu的数值会存在漂移(误差),使用的数据越多,最终我们的决策模型转移到现实当中时就会越大,紧凑的观察空间有助于将策略转移到真实的机器人上。最重要的是经过实验,研究人员发现只含这四个值的状态空间已经足够本文所演示的训练任务了。
![](https://i-blog.csdnimg.cn/blog_migrate/3fde8b2bc54c7c8a16eee7c189dc0245.png)
动作空间:为8个电机角度。
在设计动作空间时,研究人员选择使用执行器的位置控制模式,以保证训练过程中的安全性和易用性。动作由每条腿在腿部空间中所期望的姿势组成。而每条腿的姿态分解为摆动和伸展,即(s, e),我们可以通过这两个值来计算电机角度:
θ 1 = e + s \theta_1 = e + s θ1=e+s
θ 2 = e − s \theta_2 = e − s θ2=e−s
其中, θ 1 \theta_1 θ1和 θ 2 \theta_2 θ2角度两个马达控制相同的腿, s和e是腿空间中的摆动和伸展部分。
![](https://i-blog.csdnimg.cn/blog_migrate/b4b5b64720bb7e912757e318c0f3ed4f.png)
2、奖励函数
r =