Imitation Learning：Imitation Learning as State Matching via Differentiable Physic

CVPR 2023
paper

Introduction

IL中尤其是IRL交替学习奖励函数以及策略计算复杂且高方差。本文提出一种将微分物理模拟器（differentiable physics simulators）作为先验结合到模仿学习的策略优化，即ILD将模仿学习看作是利用可微分物理模拟器实现状态匹配。ILD从参数化的策略中采样动作，最小化专家轨迹与智能体轨迹状态距离并通过时间物理算子将梯度反向传播到策略中，实现策略优化。

Method

不同于BC利用动作的L2损失函数优化策略，ILD则是针对轨迹状态并将它们与专家演示进行匹配。然而简单通过计算状态L2累计损失实现精确匹配是不现实的，每个状态s 的相应学习目标状态g 可能是不切实际的，因为 st 和 gt 之家的距离会远大于初始阶段，该目标超过了可微动力学可以提供的能力。

ILD提出Chamfer-α loss实现匹配问题。ILD不是选择那些遥远的正确但不切实际的目标进行匹配，而是动态地为演示的状态选择最近的局部目标，如图Fig2所示。该损失函数可以分为两部分，偏差损失(Deviation loss)和覆盖损失(Coverage loss)

偏差损失(Deviation loss)

$$L_{\mathsf{d}}=\frac{1}{|{\tau }_{\theta }|}\sum _{s_t\in {\tau }_{\theta }}\underset{g\in {\tau }_{\mathsf{exp}}}{\min }\Vert g-s_t{\Vert }_2^2.$$
对于每个状态，选择与之最近的专家目标进行匹配。这有助于约束梯度尺度，以便在 BPTT 中使用物理算子获得更稳定的优化过程。

但是单独采用偏差损失容易导致状态聚集在某一部分，导致状态崩溃。因此需要结合覆盖损失。

覆盖损失(Coverage loss)

$$L_{\mathrm{g}}=\frac{1}{|{\tau }_{\exp }|}\sum _{g_t\in {\tau }_{\mathrm{cxp}}}\underset{s\in {\tau }_{\pi }}{\min }\Vert g_t-s{\Vert }_2^2.$$

覆盖损失则是将专家状态尽可能与学习者的状态进行匹配，保证所有专家状态能被学习者所覆盖，缓解了状态崩溃。进一步，ILD将二者结合，并用一个超参$\alpha$调节权重，构成最终损失函数：
$$\begin{array}{rl}{L}_{\mathrm{Chf}-\alpha }& =L_d+\alpha L_g\\ & =\frac{1}{\left|{\tau }_{\exp }\right|}\sum _{g_t\in {\tau }_{\exp }}\underset{s\in {\tau }_{\theta }}{\min }\Vert g_t-s{\Vert }_2^2+\alpha \frac{1}{\left|{\tau }_{\theta }\right|}\sum _{s_t\in {\tau }_{\theta }}\underset{g\in {\tau }_{\exp }}{\min }\Vert g-s_t{\Vert }_2^2.\end{array}$$