Cloth Funnels: Canonicalized-Alignment for Multi-Purpose Garment Manipulation

Cloth Funnels: Canonicalized-Alignment for Multi-Purpose Garment Manipulation

Motivation

• 严重的自我遮挡以及服装固有的无限自由度使其比更典型的刚性和铰接物体更难实现自动化，这导致手工定义实现可靠操纵的操纵策略是不切实际的。
• 作者认为当机器人首先以适当的姿态(即对齐)将任意配置的衣物操作到预定义的配置(即规范化)时，下游的操作技能工作显著更可靠。
• 将非结构化和自遮挡的布料配置转化为具有清晰可见关键点的结构化状态，降低了特定任务下游策略的复杂性，使即使是简单的启发式也能以很高的成功率工作。
  

Related Work

• 基于启发式的布料操作：基于启发式的操作管道，其中动作选择和规划是手动设计的，这些方法的通用性和鲁棒性受限于预正则化初始状态、基准标记、专用工具和布料类型和形状的强假设。
• 基于学习的布料展开：可以使用真实世界的自我监督，或模拟器状态自我发现最佳的布料分配策略。因为基于启发式的管道难以处理未满足的布料假设或运动学约束，同时它们并未考虑规格化对齐，从而限制了它们的适用性。
• 目标条件的布料操纵：对于一般的目标条件布料操作，已经研究了强化学习，自监督学习和模仿学习，但这些方法往往难以弥合sim2真实的差距，所有目标条件操作策略没有解决如何获得一个完全新颖的布料实例的目标顶点/关键点/图像。

Method

奖励制定：针对每一种服装类别预定义规范化配置（绿色），考虑一个2D旋转变换将规范化配置$g$与当前配置$v$对齐$g^{\prime }$，分别计算规范化奖励与对齐奖励，用$\alpha$对奖励进行加权。
分离设置奖励的好处：如何直接度量两组配置（绿色和紫色）的距离，在奖励较低时，模型将难以区分对布料进行平面变换还是可变形调整。同时，两种变换调整对度量距离的影响因子不同，不加以区分容易陷入一组变换动作的局部最小值。
旋转变换计算：对齐可以简单设计为每个顶点的平均距离，但变形形状不匹配的异常点平均距离最小化反而会影响实际对齐的效果。为了过滤异常点，距离最小化针对一个子集，只优化那些对应距离小于一定距离的值$\Vert g_i-v_i\Vert <\tau$，每次迭代重复利用这种方式过滤直到收敛。

---

提出了一种结合静态、动态动作的操作策略，能够实现高效和细粒度的操作。采用空间动作地图策略，通过平移、旋转、尺度等变量，将动作定义在像素网格上。

输入数据：自顶向下拍摄的视图经过旋转和缩放构成$K\ast h\ast w\ast 3$的观测堆栈，将一个$K\ast h\ast w\ast 2$的归一化位置编码嵌入观测堆栈帮助布料对齐网络推理。
动作制定：将观测堆栈输入两个不同的编码器，分别对应每个任务奖励，编码器拥有两个解码头，分别对应一个基元，输出价值图后根据奖励对价值图进行加权得到每个基元的加权价值图。选取最高值动作作为动作决策。
具体设置：考虑两个基元，静态拾取放置以及动态flings，将旋转划分为16个bins，预设了6个尺度，用于控制拾取放置的幅度和双臂协同抓取时夹爪间的距离。训练了12500次迭代。

---

基于关键点的启发式任务操作

为每个服装类别训练了一个Deep Labv3检测器，建立一个关键点检测器大约需要1个小时，通过使用少数有意义的关键点作为表示，基于关键点的手工设计策略。设计了两个任务，折叠服装和熨衣服。

Results

证明奖励设置的合理性

Easy Tasks：由标准配置开始，拖动随机采样的旋转和平移构成。
Hard Tasks：从一定高度释放，具有强烈的遮挡。

---

比较单纯用拾取-放置和Fling相比于动静态结合的差距。

专注于微调的拾取放置确实会在简单任务有一些优势，但是整体性能还是动-静态结合控制策略效果最优。

---

奖励设置的合理性

在多个类别的柔性织物的优势。

---

在下游任务中的应用

几乎是随着奖励的提升损失的下降规划化效果的提升而增加的任务成功率，毕竟是简单的关键点提取方法，对于遮挡没有鲁棒性，而且针对柔性布料的遮挡，没有先验可以估计被遮挡的关键点，预处理步骤可能是必须的。

可视化结果

Conclusion

主要任务量在于服装规范化（展平），通过动-静态动作基元结合取得了比FlingBot更好的效果，利用空间动作映射的技巧，通过输出价值图以获取细粒度的操作，一定程度上证明服装预处理的必要性。