Residual Reinforcement Learning for Robot Control

Residual Reinforcement Learning for Robot Control

传统反馈控制方法通过显式模型来解决各种机器人控制问题。但在现代制造业中的很多控制问题都需要处理接触和摩檫力，而这些难以被一阶物理建模所体现（如果要使得传统反馈控制方法，比如PID调节器和计算转矩的方法对环境具有一定程度的适应性或反馈，则需要很多额外的努力），而另一个缺点是传统控制方法缺乏行为泛化。本文研究了如何解决现实世界中的复杂控制问题，将其分解为用传统反馈控制方法有效求解的部分和用RL方法求解的剩余部分，而最终的控制策略是两个控制信号的叠加。

使用强化学习（RL）可以处理传统控制器难以处理的控制问题，因为使用 RL 的控制目标可以是奖励函数而不是明确的控制动作。文中考虑是一个由全驱动机器人和机器人环境中的欠驱动物体所组成的动力系统（机器人状态表示为$s_m$，物体的观察为$s_o$；机器人通过输入$u$来进行控制，而物体可以直接被控制），任务训练的过程如下：

由机器人和物体组成的整个动力系统的离散时间运动方程可以表示为：

这里的状态服从代数约束。在状态转移矩阵中，$A(s_m,t)$ 和 $C(s_o)$表示刚体动力学，所以它们通常在一定程度上是已知的，而耦合矩阵 $B(s_m,s_o)$ 通常是未知的。例如接触和摩擦力之类的物理相互作用主要影响 $B(s_m,s_o)$ 的表示（同时也应用于对$s_m$和$s_o$起作用的代数约束）。所以使用传统控制方法来决定控制$s_o$的$u$是非常困难的。直接设计传统控制方法的另一个困难是，对于许多控制目标，状态$s_o$需要满足不能表示为与期望状态的偏差(误差)的条件。而在 RL 中通过奖励函数来指定目标，而不是直接设计一个反馈控制系统。奖励函数可以同时却决于$s_m$和$s_o$。

在这篇文章中使用了基于值函数的 RL 方法(off-policy方法，具有很高的采样效率)，回报表示为$R_t={\sum }_{i=t}^T{y}^{(i-t)}{r}_i$，算法学习的策略$u_t=\pi (s_t)$ 的目标是在有限时间步 $T$ 内最大化期望回报 $J={\mathbb{E}}_{r_i,s_i\sim E,a_i\sim \pi }[R_0]$ 。状态动作价值函数为：

$$Q^{\pi }(s_t,u_t)={\mathbb{E}}_{r_i,s_i\sim E,u_i\sim \pi }[R_t\mid s_t,u_t]={\mathbb{E}}_{r_t,s_{t+1}\sim E}[r_t+\gamma {\mathbb{E}}_{u_{t+1}\sim \pi }[Q^{\pi }(s_{t+1},u_{t+1})]]$$

控制系统由两部分组成，第一部分以传统的反馈控制理论为基础，对$s_m$函数中的所有奖励项进行最大化。RL 方法用于叠加并最大化函数$s_o$的奖励项。

考虑奖励函数形式：

$$r_t=f(s_m)+g(s_o)$$

$f(s_m)$ 被假设为一个函数，表示机器人状态的几何关系，如欧几里德距离或期望轨迹。第二项 $g(s_o)$ 可以是一般类函数。在建模的装配任务中，$f(s_m)$是机器人夹持器在站立砖块之间移动的奖励，$g(s_o)$是保持砖块直立并保持其原来位置的奖励。$f(s_m)$ 容易通过传统控制器先验的任何环境交互进行优化，而$g(s_o)$ 更适合使用 RL 控制器进行学习。控制器的动作表示为：

$$u={\pi }_H(s_m)+{\pi }_{\theta }(s_m,s_o)$$

其中${\pi }_H(s_m)$为人设计的控制器，${\pi }_{\theta }(s_m,s_o)$为通过θ参数化的学习策略，并通过RL算法进行优化，以使任务的期望收益最大化。剩余（残差）控制器${\pi }_{\theta }(s_m,s_o)$ 被用于最大化奖励$g(s_o)$。

算法

使用了TD3(twin delayed deep deterministic policy gradients)算法的变体。TD3是一种基于深度确定性策略梯度(DDPG)算法[3]的基于值的连续控制RL算法。与DDPG相比，TD3 具有稳定，采样效率高，需要很少的手工调优的特点。

在实验中引入了控制的噪声：$U_t^{\prime }=u_t+\mathcal{N}(\mu ,{\delta }^2)$.

原文链接：
Residual-Reinforcement-Learning-for-Robot-Control-|-IEEE-Conference-Publication-|-IEEE-Xplore