【计算机图形学】Affordance Learning from Play for Sample-Efficient Policy Learning

对Affordance Learning from Play for Sample-Efficient Policy Learning的简单理解，不包括Introduction、Related Work和Experiment

1. 想要做的事

机器人在以人为中心的环境下应拥有理解物体功能的能力：

• 每一个物体可以被用来干什么

• 交互可能发生在哪个位置

• 如何使用物体以实现相应的目标

为了让机器人拥有这些能力，从人类操控游戏数据中以self-supervised的方式训练了visual affordance model，在机器人上实现高效的策略学习和动作规划。

2. 方法概览

根据自监督Visual Affordance Model的引导，学习采样复杂操纵任务的样本高效策略。

第一步，训练一个网络来发现和学习未标注游戏数据中物体的Affordance；

第二步，将空间分离成两个区域：一个区域中，模型提出的策略将会是可靠的；另一个区域中，可能存在一些限制，比如存在感知错误或物理交互存在局限性；利用策略${\pi }_{mod}$学习Affordance Model以驱动末端夹持器从自由空间到Affordance区域附近；

第三步：到达了邻近区域后，转换成局部强化学习策略${\pi }_{rl}$，驱动Affordance Model去寻找那些人类喜欢的物体区域，提升样本采样效率。

因此，最后的策略被定义为一个混合体：$\pi (a|s)=(1-\alpha (s))\cdot {\pi }_{mod}(a|s)+\alpha (s)\cdot {\pi }_{rl}(a|s)$。使用机器gripper和Affordance的距离$\alpha (s)$在两种策略之间来回切换。

2.1 从游戏数据中学习Visual Affordance

利用人类操控过程中机器人抓手的打开和关闭信号来进行自监督学习，如图2所示。

不仅学习到了人-物交互的区域，同时通过人操纵物体的方法，也给了机器人“how”工作很强的先验。唯一的假设是对机器人摄像机进行标定（校准和调整摄像机的内部参数，以确保摄像机能够准确地捕捉和显示场景中的图像。这个过程通常包括确定焦距、畸变系数、光学中心等参数，以便在后续的图像处理和计算中能够准确地推断物体的大小、位置和形状等信息。通过摄像机标定，可以提高机器人视觉系统的精度和准确性，从而更好地执行各种视觉任务）

这里将Affordance预测任务分成了多个部分：

首先，Affordance模型$F_a$将图像$I$转换成了二进制分割图$A\in {\mathbb{R}}^{H\times W}$，用于指示适于交互的区域；

其次，通过从Affordance区域每个pixel预测朝向中心的向量，来估计Affordance的中心区域，从Affordance区域中预测中心点非常关键，有助于在一个场景的多个物体情况下消除Affordance的二义性；（大概就是区分不同的物体&离得近的物体）

最后，游戏数据展示了人类与物体部件的自然交互，揭示了环境中的Afforded区域。因此，为了找到未标记数据的Affordance区域，gripper方向被视作探索人-物交互的启发式方法。

更具体如下：

第一步中的二进制分割图：直观地看来，如果在游戏过程中gripper关闭，表示在那个位置可能将会发生交互。因此，我们将gripper的3D点$p_{grip}^t$投影到相机图像像素$u_{grip}^t$，并标记过去$n$帧内半径$r$内的像素作为Afforded区域。类似的，如果gripper从关闭到打开，意味着物体将在3D位置$p_i$处结束交互，这使得在整个运动时间过程中找到一组相互作用点$P^k=(p_1,p_2,...,p_k)$，表示时间步长$k$之前已经发生交互的世界坐标。为获得完整交互位置集，考虑将发生抓取的3D位置和时间$t$之间发生交互的位置（有点读不通感觉）。最后，将3D点投影到相机图像像素，通过标记相邻像素来创建Affordance mask标签。

第二步中的消除二义性：为了从一个场景中多个物体的情况下消除Affordance歧义，让网络通过预测每个Affordance像素指向中心的向量$V\in {\mathbb{R}}^{H\times W\times 2}$，估计Affordance区域中心2D像素坐标。背景像素指向固定位置避免错误。

第三步启发式方法：启发式方法的一个限制是，其假设用户在游戏中与环境交互过程中，仅通过关闭gripper来完成有意义的操作。为避免gripper在自由空间中未能进行物体交互的情况下发生关闭/打开的情况，引入额外的检查：在打开和关闭过程中，griper宽度需要停留$△t$个时间步。

为训练$F_a$，使用Affordance分割损失（交叉熵$l_{ce}$）和考虑类不均衡的（骰子？）损失$l_{dice}$进行均衡，对于方向优化一个加权余弦相似性损失：$L_{dir}={\sum }_{i\in O}{\alpha }_i(1-V_i^T{\overline{V}}_i)+\frac{{\lambda }_b}{|B|}{\sum }_{i\in B}(1-V_i^T\left[\begin{array}{c}0\\ 1\end{array}\right])$

$V_i$和${\overline{V}}_i$分别是相似$i$的预测和GT的单位方向。$B,O$是分别属于背景和Affordance区域的一组像素。Affordance模型的总损失是$w_{ce}{l}_{ce}+w_{dice}{l}_{dice}+w_{dir}{l}_{dir}$。

2.2 从基于模型的工作空间到强化学习的工作空间

对于随机动力学和高维的情况，传统的运动规划算法可能表现不好，而RL为这种运动规划提出了另类的解决思路，RL凭借其policies的泛化能力，能够处理复杂的交互和高维度的观察信息。但对于极其复杂的问题，RL policies从头开始学起是一个非常棘手的问题。所以文章受到前工作的启发，将学习空间分成了两部分：基于模型的策略可靠区域、可能存在感知错误和物理交互限制的区域。

在2.1中预测了Affordance和对应的区域中心。给定这些信息指示了人类与物体交互的区域。选择像素区域中心，通过基于模型的策略${\pi }_{mod}$将gripper end-effector从自由空间中移动到选择像素的邻近位置；通过无模型的${\pi }_{rl}$来控制手部交互。两个策略之间的转换是通过gripper和预测的像素中心之间的距离实现的。

这种切换提升了不同位置的普适性。

2.3 Affordance引导的强化学习抓取

问题定义：标准的马尔科夫决策过程（MDP）$M=(S,A,T,r,{\mu }_0,\gamma )$。其中$S$和$A$分别表示状态和动作空间，$T(s^{\prime }|s,a)$表示在状态$s$下应用动作$a$可以到达状态$s^{\prime }$的概率，动作是从概率分布$\pi (a,s)$提取的。$r(s,a)$是在状态$s$上执行动作$a$获得的奖励，${\mu }_0$是厨师状态分布，$\gamma \in (0,1)$优先考虑长期奖励而非短期奖励。RL的目标是优化策略$\pi (a|s)$以获得预期最大化：$E_{\pi ,{\mu }_0,\tau }[{\sum }_{t=0}^{\infty }{\gamma }^{t}r(s,a)]$

观察空间：两个部分组成：(1) 智能体本体感受状态，包括end effector的3D世界坐标、欧拉角方向，gripper宽度；(2) 由gripper相机观察到的当前RGB-D图像、对应于Affordance模型的二进制Affordance mask预测

动作空间：使用7-DOF Franka Emika Panda robot。动作空间由 delta XYZ位置，delta 欧拉角和二进制gripper action（打开或关闭）组成。

奖励：由三部分组成。除了奖励成功的物体交互，还应引导RL对物体可运动区域的探索，如下：

1. $R_{aff}$奖励end effector和affordance center逐渐接近；

2. $R_{out}$惩罚智能体远离了affordance center的neighborhood；

3. $R_{succ}$奖励物体成功操纵了物体。

最终奖励包括：$r(s,a)={\lambda }_1{R}_{succ}+{\lambda }_2{R}_{aff}+{\lambda }_3{R}_{out}$

2.4 补充细节

遥控游戏数据：在无脚本遥控交互过程中，记录相机的两张图片：静态相机捕捉全局场景；还有一个装在gripper上的相机。静态相机图像分辨率$200\times 200$，gripper相机分辨率$64\times 64$。在静态相机的图片上标记投影中心周围$r=10$的像素，在gripper相机图片上标记周围$r=25$的像素。

Affordance模型：U-Net结构，有两个平行的卷积层分支，产生Affordance mask和中心方向。使用Hough投票层预测2D物体的中心。Hough投票层以Affordance mask和方向向量作为输入，计算每个像素的分数。具有最大分数的位置被选为物体的中心。

为两个相机训练两个阶段的Affordance detection。为静态相机训练的模型，目标是预测空间交互热点图，指示可运动区域。类似的，为gripper相机的图像训练Affordance模型，给了一个更加精细的、关于人类如何尝试去操纵每个物体的空间交互图。

同时，希望Affordance模型能够指出物体的哪个部分是最相关的、用于操纵的。希望模型可以独立于颜色来指出这些信息，故送入到Affordance模型的都统一转换成灰度图后送入网络。

Affordance引导的强化学习：将RGBD图像和推理的Affordance mask通过卷积神经网络。接着将所获得的表示与机器人状态和与Affordance中心的距离连接起来，送入4个全连接层。Critic和Action使用相同的网络结构，但不共享权重。

3. 总结

这篇文章简称VAPO（Visual Affordance-guided Policy Optimization），和之前看过的RLAffordance有异曲同工之妙。看了一下，RLAffordance引用的第一篇文章就是这篇VAPO。

它们都是以Affordance map作为强化学习输入的一部分，也就是在强化学习的输入中引入额外的视觉观察，引入Affordance map作为额外的视觉操纵信息理解。

• VAPO在2D上做，RLAffordance在3D上做。

• VAPO数据来源于人类操控，RLAffordance数据来源于对物体的真实操控。

• VAPO的奖励包括gripper接近操纵区域的奖励、远离操纵区域的惩罚、执行动作成功的奖励，RLAffordance奖励包括在Affordance map上高分位置的奖励、其他还有一些针对于任务设计的奖励

• VAPO不针对于操纵某个铰接物体的操纵，是针对于大规模的刚性物体数据，主要做的是一些物体的收纳整理，RLAfford针对具体地铰接物体操纵任务，包括开关门、开关抽屉等