本文介绍如何运用强化学习控制四足机器人Minitaur进行运动。状态空间包含roll、pitch及对应的角速度，动作空间由8个电机角度构成。奖励函数综合考虑移动距离和能量消耗。决策模型分为开环和反馈两部分，允许用户设定步态并实现平衡控制。神经网络采用PPO算法，训练结果展示机器人的稳定行走能力。
文章目录
模型概要
1、状态、决策空间（略）
状态空间：roll（X轴）、pitch（Y轴），以及沿这两个轴的角速度。
注意，状态空间中并没有使用所有可用的传感器测量值。例如，IMU还提供了基体的偏移（即x，y方向的偏移），有些imu还会提供加速度，这些我们都不考虑。我们排除这些值，是因为imu的数值会存在漂移（误差），使用的数据越多，最终我们的决策模型转移到现实当中时就会越大，紧凑的观察空间有助于将策略转移到真实的机器人上。最重要的是经过实验，研究人员发现只含这四个值的状态空间已经足够本文所演示的训练任务了。
动作空间：为8个电机角度。
在设计动作空间时，研究人员选择使用执行器的位置控制模式，以保证训练过程中的安全性和易用性。动作由每条腿在腿部空间中所期望的姿势组成。而每条腿的姿态分解为摆动和伸展，即（s, e），我们可以通过这两个值来计算电机角度：
θ 1 = e + s \theta_1 = e + s θ1=e+s
θ 2 = e − s \theta_2 = e − s θ2=e−s
其中， θ 1 \theta_1 θ1和 θ 2 \theta_2 θ2角度两个马达控制相同的腿， s和e是腿空间中的摆动和伸展部分。
2、奖励函数
r =
最低0.47元/天 解锁文章
4742
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
