Bayesian Nonparametric Learning of Cloth Models for Real-Time State Estimation

用于实时状态估计的布料模型贝叶斯非参数学习

  看了这篇文章挺长时间了，大概做一个大总结：本文主要讲的就是给人穿衣服的流程中的实时估计人与衣物的关系这个内容，服装任务是用一件最初躺在其手上的T恤为人体模型布料。首先我们使用非线性降维技术MRD学习离线布料模型，用运动捕捉系统和深度传感器的观测数据对布料模型进行训练，其中运动捕捉系统的目的是捕捉准确的布料状态信息（布料的拓扑结构），深度传感器捕捉衣物的形状信息，即在每次观察时提供一对RGB和深度图像。RGB图像用于定位衣物，深度图像用于构建布料点云。实验装置包括带有Kinect V2深度传感器的衣物辅助框架和用于布料状态估计的MAC3D运动捕捉系统，我们使用深度传感器和运动捕捉系统同时观察T恤的状态，收集服装试验。运动捕捉系统的节点被指定为主节点，其他节点被指定为从节点，评估了MRD在服装辅助任务中学习布料状态模型的效率。为了评估推广能力，我们使用了四件具有不同特征的T恤，对于每件T恤，我们收集了六种不同姿势的服装试验，评估使用BGPLVM和MRD的性能。之后还有用点云测试训练好的模型，检验模型的能力。
  一句话总结：用运动捕捉系统和深度传感器的数据训练模型，用于实时估计布料状态。

  摘要——机器人服装辅助解决方案可以显著提高老年人和残疾人的生活质量。实时估计人与衣服的关系对于机器人服装辅助运动技能的有效学习至关重要。由于衣物固有的非刚性和遮挡性，所以主要挑战是布料状态估计。在这项研究中，我们提出了一种新的框架，用于使用低成本深度传感器实时估计布料状态，使其适合于可行的社会实现。该框架基于这样一个假设：在服装任务中，服装物品被限制在一个低维的潜在流形中。

  我们建议使用流形相关确定 (MRD)来学习离线布料模型，该模型可用于实时执行知情布料状态估计。利用运动捕捉系统和深度传感器的观测数据对布料模型进行训练。当只有噪声深度传感器特征状态实时可用时，MRD为推断准确的运动捕捉状态提供了一个原则性的概率框架。实验结果表明，我们的框架能够使用很少的数据样本学习一致的任务特定的潜在特征，并且能够推广到不可见的环境中。我们进一步介绍了影响学习的布料状态模型预测性能的几个因素。

1.介绍

  辅助机器人在提高老年人和残疾人的生活水平和独立性方面发挥着越来越大的作用。最近的人口趋势，包括老年人口的大幅增加，从而受过培训的护理专业人员严重短缺。机器人界的长期目标是实现护理机器人不仅提供陪伴，还在日常活动中提供身体帮助。这种护理机器人的主要要求包括安全可靠的人机交互，以及操作各种家用物品的能力。在刚性物体操纵方面已经有了重要的研究，然而，处理非刚性物体 (如衣服)仍然是一项具有挑战性的任务，目前正在进行积极的研究。
  服装辅助是老年人和残疾人日常生活中的一项基本辅助活动。然而，机器人服装辅助被认为是一个开放的问题，因为它涉及人类主体、非刚性服装物品和机器人之间的紧密耦合交互。实时估计人-布关系可以在执行服装任务时检测并适应故障场景，这是实际实现机器人框架所必需的。这个问题的挑战主要在于布料的状态估计，因为布料本身没有刚性、被人体遮挡以及自遮挡，如图1所示的实验装置所示。

  服装制品固有地位于高维配置空间中，并且存在大的变形。与穿着同一件衣服相比，折叠布料时发生的变形可能会有显著差异。这使得服装物品的通用建模和状态估计不仅困难，而且不切实际。然而，服装制品遵循特定任务的一致变形，因此受限于任务特定的低维流形。可靠的布料状态估计的一种可能方法是将搜索空间限制在特定于任务的潜在布料模型中

  在本研究中，我们建议使用贝叶斯非参数潜变量模型来学习离线布料模型，以实时执行知情布料状态估计，如图2所示。我们的框架用于使用深度传感器实时跟踪人体与布料之间的关系。深度传感器是一种低成本的解决方案，可以捕获3D形状信息，而无需对传感器进行任何精心设置或校准。这些功能对于开发服装辅助的真实实现至关重要，最终用户和护理人员可以轻松设置系统。然而，深度传感器提供了噪声信息，在我们的任务设置中也存在布料遮挡的问题。我们解决这些问题的方法是假设服装物品被限制在特定于服装辅助任务的低维潜在流形上，形成特定于任务的布料模型。该模型是使用非线性降维技术流形相关确定(MRD)来学习的，以处理服装制品的非刚性，并以贝叶斯方式学习布料的潜在特征，避免过拟合问题。

  MRD用于学习离线低维潜在流形，以便使用运动捕捉系统和深度传感器同时观察衣物。这两种感官系统都有互补的功能，当它们结合在一起时，可以提供对服装制品最丰富的观察。运动捕捉系统可以提供环境中离散标记的精确位置信息，但它是一个昂贵而复杂的系统，需要精确校准，不能实时使用。另一方面，深度传感器成本低且无需校准，但它们提供了整个环境的噪声点云信息。MRD提供了一个原则性的概率框架，用于在只有噪声深度传感器状态实时可用时推断精确的运动捕捉状态。在本研究中，我们进一步研究了特征表示等因素对训练后的布料状态模型预测性能的影响。

  论文的其余部分组织如下。第二节介绍了机器人布料处理的一些相关工作。在第三节中，我们描述了我们提出的学习布料模型的框架。第四节给出了实验结果。最后，我们在第五部分总结了一些未来的方向。

2.相关工作

  近年来，开发机器人布料操作框架受到了广泛关注。这些研究解决了这个问题的不同方面，在这里**大致分为三类：布料状态估计、运动技能学习、机器人服装辅助。**第一类是关于可靠布料状态估计的研究。第二类包括非刚性服装制品的运动技能学习。第三类是关于机器人服装辅助的研究。本节还包括关于潜在流形学习在机器人学和计算机视觉领域的应用的文献综述。

  布料状态估计：机器人布料处理的方法之一是依靠有效的布料状态估计和机器人的静态规划。Ramisa等人提出了特征描述符，用于从RGB-D数据中检测和分割衣物。Willimon等人利用机器人的交互感知，在杂乱的环境中对非刚性物体进行分类。Kita等人利用对布料的多次观察，通过优化将网格模型用于知情布料操作。这些研究在机器人服装辅助方面存在一些局限性。这些框架依赖于高维布料状态模型的使用，有时还依赖于基于优化的技术。通常情况下，服装物品采用平面假设来约束状态估计。这些假设对于服装辅助任务是无效的，需要计算高效的表示来确保实时状态估计。这些研究也没有具体处理服装物品和服装辅助所需的人体受试者之间的相互作用。

  运动技能学习：多项研究提出了布料处理的运动技能学习框架。Doumanoglou等人制定了一个部分可观测马尔可夫决策过程（POMDP）框架，用于布料展开以及布料分类的随机森林。Huang等人通过一个扭曲函数生成轨迹，使衣服达到所需的形状。Lakshmanan等人使用运动原语来参数化运动规划，以执行给定的折叠序列。Miller等人通过生成服装物品的二维多边形近似运动轨迹，实现了强大的机器人布料折叠。这里介绍的运动技能学习框架主要处理需要基于一次性状态估计决策进行点对点规划的任务。也有一些研究处理高动态任务，但衣物不会受到严重遮挡，布料状态通过跟踪衣物的特定位置（如角落）来表示。然而，服装辅助任务是高度动态的，需要有效的布料状态估计来处理布料遮挡和与人体耦合的约束。

  机器人服装辅助：很少有研究解决服装辅助问题。Klee等人提出了一个服装协助框架，以配合人类完成各种服装任务。他们强调人体运动跟踪，并执行诸如给人体对象戴帽子之类的任务。Colome等人用强化学习法表演了一个戴着围巾的人体模特的服装。他们依靠精确的逆动力学模型进行可靠的运动规划。Gao等人通过特定于用户的身体约束校准来解决这个问题，从而为服装辅助执行可靠的运动规划。Yamazaki等人提出了一个穿着裤子的受试者的服装框架。在他们的框架中，他们依靠光流和图像流的离线数据库来检测服装任务的当前状态。这里介绍的这些研究并没有专门处理可靠的布料状态估计，也没有涉及服装辅助的其他方面，如人体姿势建模和机器人动力学处理。这些研究中的任务在服装制品和人体之间也没有太多的相互作用。

  机器人技术的应用需要通过使用噪声传感器获得的高维观察来学习运动技能。通常，任务的固有维度要低得多，并且与观测空间呈非线性关系。有几项研究使用基于高斯过程（GP）的潜变量模型（LVM）进行数据高效学习。Shon等人为多个观察空间建立了一个共享GP潜变量模型，并通过共享潜空间将其应用于机器人模拟人类姿势。Ko等人为GP Bayesfilters制定了一个通用框架，在不完整的地面真实数据环境中，使用GPLVM生成状态序列。降维也被用于机器人强化学习框架中，其中策略学习是使用捕获任务空间约束的低维潜在空间来完成的。Wang等人提出了一个基于GPLVM的动力学模型，该模型可以在人机交互环境中，通过给定的任务演示推断出人类受试者的意图。这些研究依赖于在复杂环境中使用基于GP的潜变量模型来执行数据高效学习，从而验证其在机器人服装辅助中的适用性。

  在这项研究中，我们解决了服装物品和人体之间存在显著耦合的挑战，例如穿着T恤的服装，涉及严重的布料变形和人体模型的遮挡。我们的研究建立在Tamei等人提出的服装辅助框架的基础上，其中一个双臂机器人用T恤给一个柔软的人体模型穿衣服。拓扑坐标被用作低维状态表示，用于有效的运动技能学习。提出的框架是我们初步研究的扩展，在这些研究中，我们解决了使用深度传感器进行服装辅助任务的可靠布料状态估计问题。在这项研究中，我们提出了深度传感器和运动捕捉系统的离线融合，以便使用深度传感器进行可靠的在线跟踪。我们进一步依靠基于高斯过程的非线性降维技术来处理服装制品的非刚性动力学。我们还通过贝叶斯非参数潜变量模型执行数据高效学习，以便布料状态模型可以推广到看不见的环境设置。

3.方法

  在本节中，我们将介绍我们提出的布料状态建模方法及其在机器人服装辅助任务中的应用。首先，介绍了布料状态模型的建立及其动机。然后，我们描述了布料状态模型中深度传感器数据（特征空间）和运动捕捉数据（姿势空间）的表示。最后解释了在给定测试特征状态下，为推断姿势状态而实施的不同策略。

A.非线性潜流形学习
  在这项研究中，我们假设服装制品在特定类型的任务中经历类似的变形，从而限制在低维配置空间。我们使用基于高斯过程（GP）的非线性潜变量模型从高维布态观测中学习底层的低维流形。在本节中，我们将提供模型的数学公式，并讨论这些模型在布料状态建模中的适用性。

  贝叶斯-高斯过程潜变量模型（BGPLVM）是Titsias等人提出的一种非线性降维技术。它源自fig.3a所示的生成模型，其中观测值Y={$y^1$，$y^2$，····，$y^N$}，$y^N$∈$R^D$，假设是潜在变量X={$x^1$，$x^2$，···，$x^N$}，通过噪声过程生成的$X^N$∈$R^L$，
  其中β表示噪声随机变量ε的逆方差，观测样本的条件分布可以导出为高斯分布。在该模型中，先验的映射函数f被使用高斯函数 f(x) ∼ GP(0, k(x, x0))，其中k（x，x0）是协方差函数。为了执行潜在空间维度的自动模型选择，可以使用自动相关检测（ARD）内核，

  ARD权重{α_l}^L_l=1描述了每个维度的相关性，σ_ARD描述了GP映射函数的规模。相关性通常使用一个启发式阈值来确定，使得权重低于阈值的维度对重建观测值的贡献不大。
目的是推断未知的潜变量X和映射函数的模型参数Φ={β，σ²_ARD，{α_l}^L_l=1}。条件似然是通过假设在潜变量X上计算的D独立GP映射得出的，
  其中K是从协方差函数k_ARD（x，x0）获得的N×N协方差矩阵，观测噪声β，Y:，d表示观测样本的列。可以对潜在变量X设置先验，边际化w.r.t X导致完全贝叶斯处理，

  然而，当X在核协方差矩阵K的逆方向非线性出现时，边缘化积分变得难以处理，如等式n所示。(2),(3). 为了使边缘化易于处理，可以应用近似变分推理，其中变分分布q（X）用于近似下式给出的真实后验分布p（X | Y），

  其中{µ_n，S_n}^N_n=1是变分参数。对数边际似然对数p（Y）上的詹森下界可推导如下：

  为了简化符号，删除了超参数Φ。由于潜在变量在条件似然项p（Y | X）中呈现非线性，下限仍然难以确定。
  Titsias等人通过引入稀疏GP回归中常用的数据增强解决了这个问题。数据扩充包括增加M个额外观测值U={u₁，u₂，···,u_M},u_M∈ RD被称为诱导变量。这些都是在一组伪输入$\hat{X}$∈ RM×GP下评估的和潜在概率的联合增强与先验分布相同，

  其中q（X）的形式为Eqn.（5）， q（U）是诱导变量上的一个变分分布，其形式需要优化，p（Y | U，X）是受潜在变量和诱导变量约束的GP似然。这种增广概率模型通过去除非线性因子p（Y | X）得到了可处理的Jensen下界$\hat{F}（q）$，从而使近似值可处理。
不可见测试数据的预测y^∗ 通过计算p（y^∗|Y） ,

  预测分布由两个边际可能性的比率给出，这两个边际可能性都可以使用增广概率模型来近似，即exp（$\hat{F}$（q，X，X^∗)), exp（$\hat{F}$（q，X））。
  Damianou等人提出了BGPL虚拟机的一个扩展，用于学习多个观察空间之间的共享潜在空间，称为流形相关确定（MRD）。这里，我们给出了两个观测空间的MRD公式，如图3b所示，即Y∈ R^N×DY，Z∈ R^N×DZ假设由单个潜变量X∈ R^N×L通过GP映射生成f ^y:X→ Y，f ^Z:X→ Z

  ε^Y_n和ε^Z_n是由逆方差参数β_Y，β_Z参数化的噪声随机变量。Y观测空间的GP映射可以使用ARD核建模，

  对于Z观测空间也是如此。学习ARD权重{α^Y_l，α^Z_i}不仅可以推断潜在空间维度，还可以将潜在空间划分为共享空间（X_S）和私有空间（X_Y，X_Z）。这是通过在标准化ARD权重上使用启发式设置的阈值δ来确定潜在维度与每个观察空间的相关性，
  目的是评估每个观测空间Φ^{Y，Z}的共享潜变量以及GP映射超参数。联合条件似然通过分解每个观测空间获得，如下所示：

与BGPLVM类似，由于其在核协方差矩阵中的非线性表现，潜在变量的边缘化很难解决。Damianou等人[7]提出了一种近似的变分推理公式，该公式依赖于使用类似于BGPL VM的增广概率模型（等式（7）），

  其中U^{Y，Z}是每个观测空间的诱导变量，类似于BGPL VM公式。贝叶斯公式进一步支持p（z^* | y^* ）形式的测试推理,试验样品在Z观察空间（Z_*）中的推断在给定Y观测空间Y∗. 这种推断是通过首先估计潜在样本x_*来完成的类似于等式（8）中给出的测试推断。 通过GP映射f ^Z使用这个估计。
  测试样本的推断遵循图3c所示的顺序。首先，潜在状态x^∗_Y，x^∗_S对应于试样y^∗. 共享潜态x^∗_S然后使用在对应于训练数据的潜在点中找到最近的邻居，并获得Z的私有维度信息，即x^NN_Z。最后，全潜态x^∗_S、x^NN_Z用于推断测试姿势状态，即z^∗. 在这个序列中，计算代价很高的操作是x^*_y,x^*_s的推断,因为它涉及到边际可能性的优化，类似于MRD模型训练。这使得实时推理变得困难，因此我们探索了第III-E节中介绍的测试推理的替代策略。
本节介绍的潜变量模型是一类功能强大的模型，可用于各种环境。GP映射的使用导致复杂映射的数据高效学习。近似贝叶斯推理和ARD核避免了过度拟合，实现了自动降维。

B.布料状态建模
  服装物品本质上位于高维配置空间中，特征提取成为一项具有挑战性的任务，因为服装物品可能具有较大的形状变化和遮挡。糟糕的特征提取还可能导致运动技能学习的模型不准确，从而限制机器人应用于布料处理的学习速度。为了解决这个问题，我们建议使用第III-A节中描述的贝叶斯非参数潜变量模型。这将导致以纯数据驱动的方式提取特定于任务的特征。
  在这项研究中，我们考虑服装援助任务，以证明我们所提出的方法。一个人体模型被用作研究对象，服装任务是用一件最初躺在其手上的T恤为人体模型布料。我们感兴趣的是使用低成本的深度传感器实时估计辅助对象和布料之间的关系，以实现一个实用高效的机器人服装辅助框架。然而，这是一项具有挑战性的任务，因为在服装任务期间，布料状态会发生显著变化，同时人体模型也会进行自我遮挡和遮挡。我们提出了一种利用传感器离线获取布料状态和深度信息的方法。
  布料模型的目的是从深度传感器Y=[y₁，…，y_N]^T和运动捕捉系统Z=[z₁，…，z_N]^T学习对应于服装制品观察的对齐数据集的潜在表示X=[x₁，…，x_N]^T。如第一节所述，这种建模方法背后的动机是，运动捕捉系统可以提供放置在布料上的标记的精确位置信息，而深度传感器可以提供广义的形状描述。通过学习共享的潜在结构，我们间接地学习了从通用深度传感器信息到更详细的运动捕获信息的映射，这些信息可用于使用噪声深度传感器观测的实时约束布料状态估计。学习到的潜在结构的预测性能进一步取决于几个因素，例如用于观察空间的表示和使用的推理技术。在下面的小节中，我们描述了处理这些因素所使用的方法。

C.运动捕捉表示
   使用运动捕捉系统的目的是捕捉准确的布料状态信息，这是有效学习运动技能所必需的。我们考虑的服装任务，机器人必须用一个T恤衫，人体模型的手最初在人体模型。我们假设衣服的细节（如褶皱）对于完成衣物辅助任务并不重要，因此使用低维拓扑坐标来捕捉人类主体和衣物之间的关系。此外，我们之前已经证明，拓扑坐标对运动捕捉观测中的噪声具有鲁棒性，并且可以在实际环境中有效地捕捉人体与布料之间的相互作用。
   拓扑坐标用于合成涉及密切交互的类人运动。拓扑坐标使用三种不同的属性，即writhe w、扭曲中心c=[c1 c2]和密度d，紧凑地定义了笛卡尔空间中两条曲线之间的关系。writhe w使用高斯连接积分（GLI）的近似值来测量两条曲线γ1、γ2之间的总扭曲度：

   由两个标量组成的扭曲c的中心解释了扭曲相对于每条线的相对位置。密度d表示两条线之间的相对扭转，即哪条线绕着另一条线扭转。这些参数可以通过将给定曲线划分为小线段链来解析计算。
   机器人完成服装任务所需的运动技能包括：1）将T恤领子拉到人体模型的头上和身体上；2）将T恤袖子沿着人体模型的手臂拉向肩膀。为了获得这些运动技能，深度传感器需要估计和跟踪以下内容：T恤领子、T恤袖子和人体模型的姿势。在本研究中，重点是布料状态估计，因此在任务期间，人体模型的姿势保持不变。通过考虑T恤的扭动和扭曲中心，给出了人体与布料之间的关系。如图4所示，4种不同的拓扑结构下，T恤领子人体模型的头部拓扑，2）领子-身体，3）左袖-左臂，4）右袖-右臂，从而形成8维表示Z∈ R⁸。密度参数不被考虑，因为T恤衫将始终围绕人体模型扭曲，并且在服装辅助任务中，此拓扑永远不会反转。
   使用运动捕捉系统的观测值计算拓扑坐标值。该装置有八个红外（IR）摄像头，仔细放置在实验环境周围，以最大限度地避免标记物被遮挡。在T恤衣领上贴上六个红外标记，在每个T恤袖子上贴上三个标记，在人体模型上分别贴上五个标记，以估计人体布料的拓扑关系。这些标记用于获得T恤领子和袖子的近似曲线，用于计算拓扑坐标。T恤衫服装任务的拓扑坐标计算见附录A。

D 深度传感器表示
   深度传感器能够捕捉衣物的形状信息。特征空间表示的目的是捕捉全局布料形状。为此，我们考虑服装文章的点云表示。点云数据可以与所提出的布料建模方法一起实时使用，以推断精确的人-布关系信息。在本节中，我们介绍了用于预处理RGB-D数据并获得与服装物品对应的点云的方法。为了实时估计人体与布料的关系，我们需要在服装任务中跟踪布料的整体形状。有几项研究可以在杂乱的环境中可靠地定位衣物。我们假设通过现有的方法来获得一个种子盒。在这项研究中，为了简化这个过程，我们使用了单一颜色的衣服来可靠地定位输入框中的衣服。
   深度传感器在每次观察时提供一对RGB和深度图像。RGB图像用于定位衣物，深度图像用于构建布料点云。在跟踪之前，我们执行基于huesaturation的颜色校准，其中色调和饱和度值的直方图由与T恤相对应的感兴趣区域（ROI）构建。该直方图可用于在输入图像中查找与T恤对应的像素。对于服装物品的跟踪，我们使用以下方法，如图5所示：

   •将T恤色调饱和度直方图应用于输入帧，以获得反投影图像。使用T恤直方图计算反投影图像，其中反投影图像中每个像素的强度对应于属于T恤的概率.
   •提供背投图像以及一个种子T恤边界框，作为标准CAMshift算法的输入，其中估计帧之间边界框的偏移和缩放。
   •为了确保多个演示中的特征一致性，使用与从CAMshift算法获得的边界框对应的中心，计算固定大小的边界框（本例中为250×250）。
   •边界框内的反投影图像表示属于T恤的概率，并作为遮罩应用于RGB和深度图像，获得与T恤对应的区域。
   •T恤深度图像像素的点云是使用传感器的固有参数构建的。通过应用统计点云去除技术进一步处理异常值。
   图像处理功能使用OpenCV库实现，点云处理使用点云库（PCL）完成。通过预处理构建的点云被下采样到50×50，形成一个7500维空间，其中一个三维三元组捕捉T恤点云中一个点的笛卡尔位置。Y_depth∈ R⁷⁵⁰⁰

E.实时实施
   MRD模型学习的潜在流形包含两组ARD核权重参数。这些参数描述了每个潜在维度相对于第III-A节所述相应观察空间的相关性。潜在空间被划分为三个子空间X_S、X_Y、X_Z，其中X_S是共享潜在维度，X_Y、X_Z是私有潜在维度。分区是通过在ARD权重上手动设置阈值来完成的，如Eqn.11所示。
   训练布料模型的目的是在给定一个不可见的特征状态（深度传感器空间）的情况下，实时推断出准确的姿势状态（运动捕捉空间）。姿势状态z^*的推断 对于一个看不见的特征状态y^* 涉及第III-a节所述的一系列步骤。由于这种推理方法不适合实时实现，我们考虑了两种提高计算效率的替代策略。
   优化方法：这是对每个测试样本y^*进行优化的标准策略∗获得测试潜伏期x^∗_Y，x^∗_S这是计算成本最高的方法，预计具有最佳的预测性能。最近邻回归：这是一种简单的策略，我们可以得到测试数据y^* 的最近邻 y^NN_∗ .在训练集中，约为x^*_Y，x^∗_S用最近邻潜点的平均值x^NN_Y，x^NN_S表示。这是计算效率最高的方法，预计其预测性能最低。
   混合方法：该策略可被视为上述两种策略之间的权衡。使用优化方法得到的潜在状态具有很强的时间相关性。这一见解被用于提出一种混合推理策略，其中无迹卡尔曼滤波器（UKF）被应用于使用最近邻策略预测的潜在状态。此外，对于每个固定数量的观测值，使用优化推理技术更新UKF的内部状态。与计算效率相似的最近邻法相比，这种方法提供了更可靠的估计，可以被视为精度和时间复杂度之间的折衷。

4.标题

   在本节中，我们描述了为评估我们提出的框架的性能而进行的实验。第四节-A描述了用于评估的实验装置和收集的数据集。第四节B展示了使用贝叶斯非参数处理服装制品非刚性的有效性。第四节C展示了经过训练的布料模型在各种环境条件下的预测性能。算法的计算复杂度以及测试推理的实时实现在第IV-D节中进行了说明。

A.实验装置
   实验装置包括带有Kinect V2深度传感器的衣物辅助框架和用于布料状态估计的MAC3D运动捕捉系统。我们设计了一个框架，使用机器人操作系统（ROS）和套接字编程来集成这两个设备，并进行同步数据记录。每个传感器设备都有一个在控制PC上运行的程序或节点，用于执行数据采集。我们使用深度传感器和运动捕捉系统同时观察T恤的状态，收集服装试验。运动捕捉系统的节点被指定为主节点，其他节点被指定为从节点。数据采集的同步由主节点执行，主节点向从节点发送消息以启动和停止数据采集。观察结果也在时间上保持一致，以确保训练阶段的点对点对应。在衣物辅助过程任务中，使用两个传感器以每秒30帧（FPS）的速度观察布料状态 。通过在运动捕捉系统和深度传感器之间执行绝对定向校准，观测结果也在空间上对齐。Umeyama提出的方法用于计算两个参考帧之间的转换。该框架的源代码作为ROS包在线发布，以供进一步参考。

  评估了MRD在服装辅助任务中学习布料状态模型的效率。理想情况下，学习到的布料状态模型需要是特定于任务的，例如服装任务，并且应该推广到各种环境设置。对于机器人辅助服装的情况，该模型需要推广到人体模型和不同服装材料的不可见姿势。为了评估推广能力，我们使用了四件具有不同特征的T恤，如图6所示。对于每件T恤，我们收集了通过改变头部倾角（{30^o，45^o}）和肩部仰角（{100^o，105^o，110^o}）获得的人体模型的六种不同姿势的服装试验。头部倾角和肩部仰角是相对于垂直于地平面的正Z轴和负Z轴测量的，如图7所示。补充材料中包含的视频演示（framework.mp4）中显示了服装演示以及MRD的提取特征表示和测试推理。
  数据集中的服装试验是通过人类演示收集的，以确保演示中机器人无法诱发的细微变化，因此数据集包括对不同形状服装制品的观察。创建这样一个数据集的动机是，对于不同的T恤衫和不同的姿势，机器人施加的力会发生很大的变化，从而在服装试验中观察到的布料状态转变中产生显著变化。在所有实验中，使用三个指标，即皮尔逊相关系数、均方根误差（RMSE）和归一化均方根误差（NRMSE），评估使用BGPLVM和MRD的性能。

  给定两个单变量随机变量x，y和样本x_n，y_n:n∈ {1，···，N}具有$\bar{x}$，$\bar{y}$的平均值，可按如下方式评估指标：

  使用单侧Wilcoxon符号秩和检验评估所有实验的统计显著性。
  MRD模型的训练是一项计算成本很高的任务，因为它是一种基于核的方法，随着训练数据集的大小而扩展。该模型的计算复杂度按O（NM²）进行缩放，其中N是训练数据集的大小，M是用于变分近似的诱导点的数量。对于我们所有的实验，我们都设定了诱导点的数量M=100。我们在一台装有英特尔i7 3.5 GHz处理器的台式机上进行了实验。一个有1275次观测的MRD模型的训练时间花了3小时25分钟，模型才收敛。BGPLVM和MRD模型使用GPy python库以及实时推理的实现进行训练。生成所有呈现结果的源代码已在线发布，以供进一步参考。

B.学习到的潜在特征
  在本节中，我们将研究使用贝叶斯非参数和非线性建模进行布料状态估计的有效性。我们仅考虑深度传感器观测，并通过将BGPLVM的性能与线性潜变量模型主成分分析（PCA）进行比较，来评估其有效性。我们在点云观测空间上使用BGPLVM和PCA进行降维，并检查两个模型的学习潜在结构。对BGPLVM模型进行优化，直到似然函数的增量可以忽略不计，并使用从PCA获得的训练数据在潜在空间中的位置初始化潜在空间的变化分布。

  对于观测数据，我们考虑了深度传感器的点云表示，如第III-D节所示，这是一个7500维的观测空间。模型的训练数据来自5个不同姿势的5个服装试验，使用图6中的T恤1。该模型的测试数据由1件T恤衫1的隐形姿势服装试验和3件T恤衫2的隐形姿势服装试验给出，共7次测试服装试验。每个服装轨迹有大约100个样本，以8 FPS的频率测量，导致训练数据中有638个观察值，测试数据中有803个观察值。
  图8展示了训练后潜在空间中每个维度的相关性。PCA的相关性由特征值和BGPL VM的ARD核权重参数给出（等式2）。两个模型的相关参数都进行了标准化，以便最显著维度的权重为1.0，以证明维度之间的相对重要性。相关性权重表明，主成分分析采用所有15维通过线性映射捕捉布料过渡，其中像BGPLVM使用非线性GP映射捕捉2维内的基本特征。
  图9显示了两个最重要维度的潜在空间。与PCA相比，BGPLVM学习的潜在空间被限制在特定于任务的流形上。对于BGPLVM，每次服装试验的样本似乎都遵循二维潜在轨迹，这在不同环境条件下的服装试验中是一致的。通过重建高维数据，只沿着相应维度的潜在点变化，检查每个维度解释的潜在特征。这些尺寸解释了T恤领子和袖子沿人体模型手的水平运动，以及T恤领子在人体模型头上的垂直运动。在补充材料中，潜在空间的检查作为视频演示（bgplvm.mp4）包含在补充材料中，其中BGPLVM被应用于运动捕捉标记数据，并且通过生成沿单个潜在维度的变化的高维标记空间来评估每个维度所代表的潜在特征。

  为了评估泛化能力，我们比较了PCA和BGPLVM之间的重建误差，如表1所示。重建误差是通过比较输入数据点和与输入对应的潜在点的重建数据点得出的，

  y_org是数据集的输入样本，y_pred是重建后的预测值，f_model是潜在空间到观测空间的正向映射。我们评估了均方根误差（RMSE）和皮尔逊相关性作为衡量标准。Wilcoxon符号秩和检验用于评估统计显著性，p值用于单侧检验。我们使用了W统计量的精确分布，因为服装轨迹的数量很少（5个用于训练，7个用于测试）。在训练数据方面，BGPLVM是一种核方法，与PCA不同，它存储了完整的训练数据，因此具有更好的性能。然而，对于测试数据，BGPLVM也具有显著更好的性能（p值：0.01），表明其对高维和噪声点云数据的卓越泛化能力。

C.布料模型的预测性能
  可靠的布料状态估计是一个具有挑战性的问题，因为当从一个单一的视点进行观察时，伴随着遮挡，固有的模糊性。我们提出使用贝叶斯非参数学习共享潜在流形来消除歧义并解决问题。在本节中，我们将演示使用MRD对布料状态建模的有效性。**MRD模型通过深度传感器（特征空间）和运动捕捉系统（姿势空间）的观测值进行训练。 然后，在给定测试布料点云的情况下，使用训练好的模型来推断人与布料的关系信息。**首先，我们给出了一个示例布料模型的潜在学习特征和预测性能。我们进一步将MRD与标准回归技术进行比较，以研究使用共享潜在流形推断布料状态的优势。

  图10示出了拓扑坐标和点云表示之间的MRD模型，该模型使用图6中的T恤1，针对5种不同姿势进行了5次服装试验。以一种看不见的姿势进行服装试验作为测试数据。图10a示出了学习的ARD内核权重集。ARD权重阈值设置为0.05，如红线所示，导致观察空间之间存在两个共享维度，且两个观察空间都没有私人维度。然而，研究发现，这种潜在空间的结构，尤其是私人空间维度，因使用的训练数据而异。图10b显示了两个最重要维度的潜在流形。 可以看出，该模型通过潜在空间中形成良好的轨迹来捕捉执行服装任务的动力学。图10c-10f显示了测试数据拓扑坐标值的预测，其中每个图表示第III-C节中展示的特定拓扑，展示了MRD的预测性能。

  为了验证使用共享潜在流形的有效性，我们进一步比较了MRD与标准回归技术的预测性能。我们考虑了四种回归候选者，即线性回归、K近邻回归、多层感知器和高斯过程回归。对于最近邻回归，我们使用5个最近邻进行预测。对于神经网络，我们使用了一个包含200个隐藏节点的隐藏层和网络中的校正线性单元（ReLU）激活函数。使用径向基函数（RBF）核进行GP回归。对所有模型进行训练，直到优化目标函数中出现微小变化。
  使用第IV-a节所述的4件T恤衫，对人体模型的6种不同姿势收集的24个服装试验数据集对模型进行评估。使用留一交叉验证，对每件T恤衫（总共24个模型）训练一组6个布料模型，其中一个服装试验用作测试数据，其余5个用于测试作为训练数据。图11显示了MRD与回归技术的比较。标准化均方根误差（图11b）和皮尔逊相关性（图11a）被用作评估指标。使用单侧Wilcoxon符号秩和检验评估统计显著性。由于试验数量相对较大（N=24），因此使用了W统计量的近似分布。可以看出，与其他回归技术相比，MRD具有更好的预测性能（p<0.001）。

D.推理方法的比较
  测试数据的推断是一项计算成本很高的任务，涉及优化两个边际可能性的比率，类似于MRD模型的训练。为了确保实时估计人与衣服的关系，我们考虑了第III-E节中介绍的两种替代策略。在本节中，我们介绍了这些策略的相对预测性能和计算复杂性。我们的实验设置是这样实现的，我们可以从深度传感器获得原始T恤点云，并使用ROS框架以每秒30帧（fps）的速率进行广播。一个单独的程序订阅点云流，并使用其中一种推理策略来推断人类与布料的关系。
  每个推理策略的实现细节如下。对于最近邻搜索，将邻居数设置为5，并使用KD树搜索高维训练数据集。优化策略如第III-A节所述实施，通过最近邻搜索对潜在点进行初始化。该混合策略通过使用无迹卡尔曼滤波器来处理使用最近邻策略获得的潜在点中的非线性变换。该过滤器仅适用于共享的潜在维度，根据不同数据集的潜在流形，这些维度从2到4不等。状态转移函数由一个只有位置作为观测变量的等速模型给出。UKF的内部状态每15次观测更新一次，这确保了相当好的计算复杂性。手动调整滤波器参数，如过程和测量噪声协方差，以最小化模型的预测误差。

  我们考虑了两种不同场景下推理策略的性能，即看不见的人体模型姿势和看不见的T恤。MRD模型在点云（特征空间）和拓扑坐标（姿势空间）表示之间进行训练。如第IV-C节所述，评估数据集有24个服装试验。对于看不见的姿势场景，我们对每件T恤衫进行了一次遗漏交叉验证，其中一个姿势作为测试数据，其余五个姿势用于训练。对于隐形T恤场景，我们使用3件T恤中的6件服装试验作为训练数据，隐形T恤的服装试验作为测试数据。对于图12a、12b中的三种推理策略，给出了一件看不见的T恤衫服装试验的共享潜在尺寸的估计状态以及推断的拓扑坐标值。

  使用三个指标评估推理策略的性能，即归一化均方根误差、皮尔逊相关性和计算复杂性，如图13所示。最近邻策略的平均时间复杂度为每秒处理30帧（fps），混合方法的复杂度为每秒10帧，12优化方法的复杂度约为每秒1帧。测试服装试验的平均结果具有直观的趋势，最近邻搜索具有最低的预测性能和最佳的计算复杂度，而基于优化的方法具有相反的趋势。混合方法是一种很好的折衷方法，因为它的计算复杂度适合于实际情况，但在预测性能方面有很大的改进。然而，对于看不见的T恤设置，问题变得相当困难，混合方法不再有重大改进。这表明需要更强的时间约束，如Damianou等人提出的在潜在空间上放置动力学优先。

5.结论

  帮助老年人和残疾人穿衣可以极大地提高生活质量和独立性。然而，机器人协助仍然被认为是一个开放的问题，涉及到一些挑战。其中一个挑战是可靠地估计人与布之间的关系，这对于确保有效学习运动技能和机器人可靠地执行服装任务至关重要。在这项研究中，我们建议使用MRD来学习特定于任务的布料状态模型，该模型可用于知情的布料状态估计。我们实现了我们的框架，使用一个低成本的深度传感器实时估计人与衣服的关系，使其适合机器人服装辅助的可行社会实现。
  服装制品是非刚性的，固有地处于高维配置空间中。我们假设，服装制品在不同的任务中会发生一致的变形，从而位于较低的特定于任务的潜在空间中。我们利用这些约束条件，使用贝叶斯非参数潜变量模型从高维观测空间中学习潜在特征。我们使用一个低成本的深度传感器和运动捕捉系统来学习一个共享的潜在流形，该流形以离线方式从两个系统中捕捉互补的潜在特征，并结合该共享模型，在给定高维和噪声深度传感器观测的情况下，实时可靠地推断布料状态。
  MRD用于学习深度传感器给出的全局布料描述与使用运动捕捉系统获得的精确人-布关系参数之间的共享潜在特征，并使用此特定于任务的布料模型实时推断人-布关系。我们给出的实验结果表明，BGPLVM能够在噪声和高维观察的情况下学习一致且有意义的潜在特征。我们进一步证明了MRD的预测性能和泛化能力，可以从噪声的深度传感器读数中估计人类与布料的关系。还展示了观察空间表征和推理技术等各种因素的影响。
  使用MRD的优点是，对于同一潜在现象的任何观察空间，都可以学习相应的潜在空间流形。基于这种灵活性，我们未来的工作将是学习模型，其中包括T恤衫的状态以及辅助对象的姿势，主要是机器人的本体感知信息。这是基于这样一种认识，即当人类在执行服装任务时，他们更多地依赖于从服装制品中感受到的力，而不是服装制品的视觉外观。对人-布关系的可靠估计还可以设计基于强化学习的运动技能学习框架，以确保服装任务的可靠性能，机器人可以适应服装试验期间面临的各种故障。