机器人的柔性物体操作综述汇总（持续更新）

---

前言

提示：内行人的参考清单，外行人的科普指南：

机器人掌握对柔性物体的操作能力是机器人（尤其服务机器人）进入人类社会必要的一环。本文总结了近年来柔性物体（如布料）的综述文章以及基准研究。

所有文章按照出版时间进行排序。

---

一、可变形物体操作综述

柔性物体经常出现在我们的生活和工作场景中，如常见的衣服，毛巾，床单，纸张，线缆，和绳子。此外，在工业场景中也会出现对于柔性物体的操作，如导线焊接，皮带安装等。赋予机器人操作柔性物体的能力将会进一步解放人类的劳动力，并提供巨大的经济效益。

如下图所示，根据被操作物体的力学特性和形状将物体分为以下四种：类布料物体，线性物体，平面物体，和三维软体。进一步地，从应用的角度去分类，可分为感知，抓取，以及具体的操作任务。

近年来关于可变形物体的主要大综述如下所示：

A Survey on Robotic Manipulation of Deformable Objects: Recent Advances, Open Challenges and New Frontiers[J]. [paper]
Gu F, Zhou Y, Wang Z, et al.
arXiv preprint arXiv:2312.10419, 2023.
Note: 包括感知（视觉和触觉），建模，操作三方面。

Challenges and outlook in robotic manipulation of deformable objects[J]. [paper]
Zhu J, Cherubini A, Dune C, et al.
IEEE Robotics & Automation Magazine, 2022, 29(3): 67-77.
Note: 包括硬件，感知，模型，规划，和控制的现状与展望。

Modeling, learning, perception, and control methods for deformable object manipulation[J]. [paper]
Yin H, Varava A, Kragic D.
Science Robotics, 2021, 6(54).
Note: 包括建模，感知，和操作三个方面。

Modeling of deformable objects for robotic manipulation: A tutorial and review[J]. [paper]
Arriola-Rios V E, Guler P, Ficuciello F, et al.
Frontiers in Robotics and AI, 2020, 7: 82.
Note: 从形状表示，动力学模型，到模型参数估计，再到操作规划和控制中的模型的综述。

A review on modeling of flexible deformable object for dexterous robotic manipulation[J]. [paper]
Hou Y C, Sahari K S M, How D N T.
International Journal of Advanced Robotic Systems, 2019, 16(3): 1729881419848894.
Note: 主要围绕布料和衣服的模型和操作进行汇总。

Multi-modal sensing and robotic manipulation of non-rigid objects: A survey[J]. [paper]
Nadon F, Valencia A J, Payeur P.
Robotics, 2018, 7(4): 74.
Note: 包括感知，表述（有模型和无模型），操作控制三方面。

Robotic manipulation and sensing of deformable objects in domestic and industrial applications: a survey[J]. [paper]
Sanchez J, Corrales J A, Bouzgarrou B C, et al.
The International Journal of Robotics Research, 2018, 37(7): 688-716.
Note: 按照线性，平面，类布料，和实体状的角度进行分类总结。

二、布料操作综述

布料作为一种生活中很常见的柔性材料，其相关的研究较多。关于布料的操作综述的出发点也各不相同，有的从硬件夹爪的角度撰写，有的着重抓取原理（如下图所示），还有的从软件的角度（如感知策略）来撰写。

近年专注于布料操作的综述如下所示：

Unfolding the Literature: A Review of Robotic Cloth Manipulation[J]. [paper]
Longhini A, Wang Y, Garcia-Camacho I, et al.
arXiv preprint arXiv:2407.01361, 2024.
Note: 关注织物的建模，感知，操作，基准和应用领域。

Research progress of automatic grasping methods for garment fabrics[J]. [paper]
Wang J, Shen J, Yao X, et al.
International Journal of Clothing Science and Technology, 2023, 35(6): 997-1022.
Note: 从抓取原理和夹爪，以及评价指标等方面阐述。

A grasping-centered analysis for cloth manipulation[J]. [paper]
Borras J, Alenya G, Torras C.
IEEE Transactions on Robotics, 2020, 36(3): 924-936.
Note: 定义了布料抓取的原语并用其定义不同的操作任务。

Visual grasp point localization, classification and state recognition in robotic manipulation of cloth: An overview[J]. [paper]
Jiménez P.
Robotics and Autonomous Systems, 2017, 92: 107-125.
Note: 从感知角度展开，包括抓取点检测，分类和状态检测。

三、布料操作基准

对布料操作任务制定相应的基准，有助于其相关研究的进一步发展。

关于布料操作的基准研究中定义了布料操作的三种初态，相关的操作任务，以及评价指标如下表所示。布料的三种初始姿态包括堆叠，褶皱态，和展平（如下图所示）。

初态	操作任务	评价指标
Stacked Crumpled Flattened	Pick & place Folding Unfolding Spreading	Success rates Execution time Force Measures Quality Measures

具体的关于布料操作的基准文献如下所示：

Standardization of Cloth Objects and its Relevance in Robotic Manipulation[J]. [paper]
Garcia-Camacho I, Longhini A, Welle M, et al.
arXiv preprint arXiv:2403.04608, 2024.
Note: 提供了布料的材料的属性及其对操作原语的影响。

Household cloth object set: Fostering benchmarking in deformable object manipulation[J]. [paper]
Garcia-Camacho I, Borràs J, Calli B, et al.
IEEE Robotics and Automation Letters, 2022, 7(3): 5866-5873.
Note: 给出了布料的数据集，并定义了相关的状态和操作任务。

Benchmarking cloth manipulation using action graphs: an example in placing flat[C]. [paper]
Garcia Camacho I, Borràs Sol J, Alenyà Ribas G.
Proceedings of the 1st IROS Workshop on Benchmarking of robotic grasping and manipulation: protocols, metrics and data analysis (IROS BRGM). 2021: 1-3.
Note: 研究了抓取点的精度对铺平任务的影响。

Benchmarking bimanual cloth manipulation[J]. [paper]
Garcia-Camacho I, Lippi M, Welle M C, et al.
IEEE Robotics and Automation Letters, 2020, 5(2): 1111-1118.
Note: 定义了操作任务，任务设定，以及评价指标。

总结

以上就是今天要写的内容，本文简单总结并列举了柔性物体操作的综述和基准，其中布料作为重点研究对象进行重点介绍，为广大科研工作者，机器人学工程师和学生，以及科普工作者提供参考。