任务参数化高斯混合模型（task-parameterized Gaussian mixture model，TP-GMM）

自用笔记，未完待续，以及CSDN的Markdown环境有点差，Typora移植过来乱码了，修了一下，排版勉强还能看
转载请注明出处

1. 简介

​ 在非流程化、非标准化的场景中，要完成无约束或弱约束的任务需要机器人在学习、规划和控制之间进行更密切的互动。面对这一挑战的一个先决条件是设计一个机器人应该做什么（它应该如何移动，它应该遵循什么行为）的通用表示，该表示与上述技术兼容，并且可以双边共享。特别是在不断变化的环境中，服务机器人的动作需要快速生成并适应当前的情况。

​ 简单的概率混合模型可以用来模拟人类和机器人运动的自然变化，以及在学习、在线规划和最优控制之间建立联系。高斯混合模型提供了一种与许多机器人学习方法兼容的结构。它对服务机器人的需求是灵活的，因为表示可以很容易地适应应用程序的需求，同时保留核心的概率混合建模策略。

​ 任务参数化的运动/行为模型是指可以自动适应一组任务参数的表示，例如，这些任务参数可以描述当前的上下文、情况、环境状态或机器人配置状态。任务参数是指可由系统收集并描述一种情况的变量，如对象在环境中的位置。任务参数可以在执行过程中固定，也可以在执行过程中改变。模型参数是指系统学习到的变量，即存储在内存中的变量(运动的内部表示)。在复制过程中，使用一组新的任务参数(对当前情况的描述)来产生新的动作(例如，在不同情况下观察技能后对物体的新位置的适应)。

​ 从模型参数和任务参数中检索运动被视为一个回归问题，这也限制了模型的泛化范围，见图1。任务参数化高斯混合模型(TP-GMM)旨在利用任务参数的功能性特性来提高泛化能力。事实上，在机器人应用中，任务参数在大多数情况下都与参考系、坐标系、基本函数或局部投影有关，这些结构可以用来加速学习，并为系统提供更好的泛化能力。

图1，右图为四个演示，褐紫色框为出发点，到达不同的黄色框目标点，是两个不同上午观测坐标系。标准的回归方法是以黄色框的位姿向量为输入，动作模型参数即高斯混合模型参数向量为输出进行训练，但由此得到的模型泛化性不足，如左图所示，执行在演示所覆盖区域之外的任务将倾向于得到不同轨迹模型的平均值，导致较差的泛化能力。

2. 提出方法

2.1 方法概述

​ 提出的方法使用生成模型对运动进行编码，其中变异性和相关信息用于推断虚拟弹簧阻尼系统的阻抗参数。这些参数形式化地对应于弹簧的刚度和粘滞阻尼器的阻尼系数，不同之处在于它们也可以是全刚度矩阵和阻尼矩阵。

​ 在其任务参数化版本中，该模型使用几个参考坐标系来描述机器人在多个坐标系中的行为。利用从这些不同坐标系的角度观察到的变化和相关性来确定线性二次调节器系统的阻抗，方法概述如图2所示。

a) 在不同情况下观察任务，并将其归纳到新的情境中。多个演示提供了识别任务结构的机会。
b) 多坐标系中连续运动的概率编码。
c) 利用变异性和相关信息使运动适应新的情况。通过对同一任务的跨情境观察，机器人可以将技能推广到新的情境中。
d) 基础最优控制策略驱动观察行为的计算。

2.2 一个单高斯分布的简单例子。

​ 两个观测坐标系 { b t , 1 , A t , 1 } \{\pmb{b}_{t,1}, \pmb{A}_{t,1}\} {bbbt,1​,AAAt,1​}, { b t , 2 , A t , 2 } \{\pmb{b}_{t,2}, \pmb{A}_{t,2}\} {bbbt,2​,AAAt,2​} ，其中$b\text{b}b$为观察原点，$A\text{A}A=[{e\text{e}e}_1,{e\text{e}e}_2,...]$为由基向量组成的变换矩阵，从两个观察坐标系中描述一系列演示，分别用单高斯分布进行描述，即 $\mathcal{N}\left({\mu \text{μ}\mu }^{\left(1\right)},{\Sigma \text{Σ}\Sigma }^{\left(1\right)}\right)$和$\mathcal{N}\left({\mu \text{μ}\mu }^{\left(2\right)},{\Sigma \text{Σ}\Sigma }^{\left(2\right)}\right)$ ，并期望再现的泛化任务行为可以分别由两个高斯分布$\mathcal{N}\left({\widehat{\xi \text{ξ}\xi }}_t^{(1)},{\hat{\Sigma }}_t^{(1)}\right)$ ，$\mathcal{N}\left({\widehat{\xi \text{ξ}\xi }}_t^{(2)},{\hat{\Sigma }}_t^{(2)}\right)$ 来表示，其中
$${\hat{\mathbf{\xi }}}_t^{(1)}={\mathbf{A}}_{t,1}{\mathbf{\mu }}^{(1)}+{\mathbf{b}}_{t,1},{\hat{\Sigma }}_t^{(1)}={\mathbf{A}}_{t,1}{\Sigma }^{(1)}{\mathbf{A}}_{t,1}^{\top },\text{\hspace{1em}(1)}$$
$${\hat{\mathbf{\xi }}}_t^{(2)}={\mathbf{A}}_{t,2}{\mathbf{\mu }}^{(2)}+{\mathbf{b}}_{t,2},{\hat{\Sigma }}_t^{(1)}={\mathbf{A}}_{t,2}{\Sigma }^{(2)}{\mathbf{A}}_{t,2}^{\top }.\text{\hspace{1em}(2)}$$
在执行过程中对这两个高斯分布加权平均，潜在的目标函数被定义为二次误差项的加权和
$${\widehat{\xi \text{ξ}\xi }}_t=\arg \underset{{\xi \text{ξ}\xi }_t}{\min }\sum _{j=1}^2{\left({\xi \text{ξ}\xi }_t-{\hat{\mathbf{\xi }}}_t^{(j)}\right)}^{\top }{\hat{\Sigma }}_t^{(j{)}^{-1}}\left({\mathbf{\xi }}_t-{\hat{\mathbf{\xi }}}_t^{(j)}\right).\text{\hspace{1em}(3)}$$

3. 任务参数化高斯混合模型

3.1 TP-GMM

​ 任务参数化高斯混合模型(TP-GMM)是上述目标问题的直接扩展，它考虑了多帧和多簇数据点(通过混合建模的软聚类)。它以概率方式编码候选帧的相关性，这些相关性在任务过程中会发生变化。与旨在提取位于运动段末端的单个(最突出的)坐标系统的方法不同，本文提出的方法允许与任务相关的不同坐标系统的叠加和转换(行为原语的并行组织，适应运动中间的多个通道点，或根据物体的位置、方向或几何形状进行调制)。

共$M$条演示轨迹，每条演示轨迹 m ∈ { 1 , . . . , M } m \in\{1,...,M\} m∈{1,...,M} 包括$T_m$个轨迹点，则演示数据集共 $N=\Sigma_m^M T_m $ 个点，其中每条轨迹是时序点构成，数据集中的点记为 { ξ t } t = 1 N \{\pmb{\xi}_{t}\}_{t=1}^N {ξ​ξ​​ξt​}t=1N​ 。候选观测坐标系共 $P$ 个，故任务参数化在每个步长$t$中定义为 { b   t , j   , A   t , j } j = 1 P \{\pmb{b}_{\,t,j}\,,\pmb{A}_{\,t,j}\}_{j=1}^{P} {bbbt,j​,AAAt,j​}j=1P​，即观测坐标系的原点和变换矩阵。从不同观测坐标系观测的演示轨迹点 $\xi \text{ξ}\xi \in {\mathbb{R}}^{D\times N}$ 构成$P$个采样轨迹 ${X\text{X}X}^{(j)}\in {\mathbb{R}}^{D\times N}$，通过下式进行计算

$${X\text{X}X}_t^{(j)}={A\text{A}A}_{t,j}^{-1}({\xi \text{ξ}\xi }_t-{b\text{b}b}_{t,j})\text{\hspace{1em}(4)}$$
TP-GMM由 $K$ 个高斯分量组成， { π i   , { μ i ( j )   ,   Σ i ( j ) } j = 1 P } i = 1 K \{\pi_i\,,\{\pmb{\mu}^{(j)}_i\,,\,\pmb{\mathcal\Sigma}^{(j)}_i\}^P_{j=1}\}^K_{i=1} {πi​,{μ​μ​​μi(j)​,ΣΣΣi(j)​}j=1P​}i=1K​ ，其中 ${\pi }_i$ 为混合系数(mixing coefficients)，${\mu \text{μ}\mu }_i^{(j)}$ 和 ${\Sigma \text{Σ}\Sigma }_i^{(j)}$ 为第 $j$ 个观测坐标系中第 $i$ 个高斯分量的中心和协方差矩阵利用EM算法来近似求解参数。得到一个新的高斯混合模型后进一步在新的环境中执行任务。该高斯混合模型参数为 { π i   , ξ ^ t   ,   i   ,   Σ ^ t   ,   i } i = 1 K \{\pi_i\,,\hat{\pmb{\xi}}_{t\,,\,i}\,,\,\hat{\pmb{\mathcal\Sigma}}_{t\,,\,i}\}^K_{i=1} {πi​,ξ​ξ​​ξ^​t,i​,ΣΣΣ^t,i​}i=1K​ ，
$$\begin{gathered} \mathcal{N}({\widehat{\xi \text{ξ}\xi }}_{t,i},{\widehat{\Sigma \text{Σ}\Sigma }}_{t,i})\propto \prod _{j=1}^P\mathcal{N}({\widehat{\xi \text{ξ}\xi }}_{t,i}^{(j)},{\widehat{\Sigma \text{Σ}\Sigma }}_{t,i}^{(j)}),\text{with} \\ {\hat{\mathbf{\xi }}}_{t,i}^{(j)}={\mathbf{A}}_{t,j}{\mathbf{\mu }}_i^{(j)}+{\mathbf{b}}_{t,j},{\hat{\Sigma }}_{t,i}^{(j)}={\mathbf{A}}_{t,j}{\Sigma }^{(j)}{\mathbf{A}}_{t,j}^{\top },\text{\hspace{1em}(5)} \end{gathered}$$
其中，高斯积为
$${\hat{\Sigma }\text{Σ^}\hat{\Sigma }}_{t,i}={\left(\sum _{j=1}^P{{\hat{\Sigma }\text{Σ^}\hat{\Sigma }}_{t,i}^{(j)}}^{-1}\right)}^{-1}，{\hat{\xi }\text{ξ^}\hat{\xi }}_{t,i}={\hat{\Sigma }\text{Σ^}\hat{\Sigma }}_{t,i}\sum _{j=1}^P{{\hat{\Sigma }\text{Σ^}\hat{\Sigma }}_{t,i}^{(j)}}^{-1}{\hat{\xi }\text{ξ^}\hat{\xi }}_{t,i}^{(j)}.\text{\hspace{1em}(6)}$$
并满足约束条件：不同观测坐标系得到的数据是同一来源。提出的的任务参数化方法要求每个观测坐标系评估演示的局部可变性，并可以使用混合模型来提取这种可变性。

3.2 TP-GMM参数正则化

​ 在容易出现过拟合的应用处理中，需要引入相关的正则化项。正则化具有避免奇异性和平滑解空间的效果 。
一种方法是定义一个最小容许特征值 ${\lambda }_{min}$，并调整每个协方差矩阵 ${\hat{\Sigma }\text{Σ^}\hat{\Sigma }}_i^{(j)}$
$${\hat{\Sigma }\text{Σ^}\hat{\Sigma }}_i^{(j)}\leftarrow {V\text{V}V}_i^{(j)}{\widetilde{D\text{D}D}}_i^{(j)}{{V\text{V}V}_i^{(j)}}^{\top }\text{\hspace{1em}(7)}$$
其中，
$${\widetilde{D\text{D}D}}_i^{(j)}=\left[\begin{array}{cccc}{\tilde{\lambda }}_{i,1}^{2(j)}& 0& \dots & 0\\ 0& {\tilde{\lambda }}_{i,2}^{2(j)}& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & {\tilde{\lambda }}_{i,d}^{2(j)}\end{array}\right],$$
λ ~ i , k ( j ) = max ( λ ~ i , k ( j )    ,    λ m i n ) ∀ k ∈ { 1 , … , d }   , {\tilde{\lambda}_{i,k}^{(j)}} = \text{max}\left({\tilde{\lambda}_{i,k}^{(j)}}\;,\;\lambda_{min}\right) \quad \forall k\in \{1,\dots,d \}\,, λ~i,k(j)​=max(λ~i,k(j)​,λmin​)∀k∈{1,…,d},
${V\text{V}V}_i^{(j)}$ 是包含 ${\Sigma }_i^{(j)}\text{Σi(j)}{\Sigma }_i^{(j)}$ 的==堆叠特征向量(the stacked eigenvectors)==的矩阵，${\lambda }_{i,k}^{(j)}$ 是对应的特征向量。

另一种方法是以对角各向同性协方差 $I\text{I}I\rho$ (Tikhonov正则化)的形式设置协方差参数的先验不确定性，即
$${\Sigma \text{Σ}\Sigma }_i^{(j)}\leftarrow {\Sigma \text{Σ}\Sigma }_i^{(j)}+I\text{I}I\rho ,\text{\hspace{1em}(8)}$$
其中，$I\text{I}I$ 为单位矩阵，$\rho$ 为标量因子 ，根据经验选取或者数据来进行估计。式 7 的不同之处在于 每一个 ${\lambda }_{i,k}^{(j)}$ 都会加上 $\rho$ ，而并非只有截断特征值。

​通过增强正则化对条件数的影响，奇异值分解也可以实现同样的效果。方法是迫使条件数高于公式7中的阈值，或者增加公式8中的奇异值。在某些实际应用中，在不同步骤中使用小正则项是很方便的（例如，在利用EM算法求解过程中的每次迭代以及收敛后在计算高斯积之前）。

4. 扩展到任务参数化的子空间聚类

​ 当演示数据的维度很高，但演示数据训练集 { ξ t } t = 1 N \{\pmb{\xi}_t\}_{t=1}^N {ξ​ξ​​ξt​}t=1N​ 有限时，协方差 ${\Sigma \text{Σ}\Sigma }_i^{(j)}\in {\mathbb{R}}^{D\times D}$ 的维度会随着演示数据的维度 $D$ 二次指数增长。故需要对高维数据进行处理，实际应用中有如下三种观点，

1. 增加一个全局数据降维的预处理步骤；
2. 由于 $D$ 相对于 $N$ 太大，解空间中包含很多差的局部最优解；应该通过在协方差估计中引入脊或拉索正则化来平滑解空间（避免在反协方差时出现数值问题和奇异解）。如 [3.2](#3.2 TP-GMM参数正则化)节所述，在EM的每个迭代过程中的最大化步骤之后，可以得到一种简单的正则化形式；
3. 为防止模型过参数化，使用一个更精简的模型（所需估计的参数更少）。

​ 对于第三种观点，一个实例是考虑球形或对角协方差矩阵而不是全矩阵，对应于每个变量的单独处理。尽管这种解耦通常用于机器人技术，但它是编码手势和感觉运动流的一个限制因素，因为它没有充分利用协调、运动技能获得和动作感知耦合的基本原理。

对角线协方差矩阵得约束对于运动技能编码来说太强了，因为它会丢失变量之间重要的协同信息。在混合建模中有很多替代方案，它们介于对角和完全协方差的编码之间，可以在机器人技能获取的环境中很容易地加以利用。这些方案可以作为一个研究子空间聚类得问题，旨在局部分组数据，这样可以降低子空间维数，从而帮助对局部运动趋势的分析，同时减少所需估计参数的数量，以及保留最重要的协同信息以应对扰动。

5. 从演示的混合模型合成运动

​ 前面几节叙述了如何利用TP-GMM对运动技能演示进行编码，本节解决如何利用TP-GMM来在演示的数据集中检索生成适合当前任务的运动。有几种方法可用于从TP-GMM检索连续的运动，第一种技术是将衰减项或时间变量编码为混合中的附加特征，并使用高斯混合回归(GMR)检索适应当前情况的运动。第二种技术是将静态和动态特征编码到混合模型中，就像在trajectory-HMM中一样。

5.1 高斯混合回归

​ 使用GMM表示，运动的再现可以形式化为回归问题，在机器人学习中，高斯混合回归 （Gaussian mix-ture regression，GMR）提供了从GMM生成连续运动的简单解决方案。GMR依赖于正态分布的基本性质(线性变换)，对运动或策略进行基于概率的检索，其中模型可以实时计算下一个动作，计算时间与用于训练模型的数据点的数量无关。

​ 与局部加权回归(LWR)、局部加权投影回归(LWPR)和高斯过程回归(GPR)等其他回归方法相比，GMR并不直接对回归函数建模。它对数据的联合概率密度函数建模，然后从联合密度模型推导出回归函数。因此，模型参数的估计是在离线阶段实现的，它线性依赖于数据点的数量，但回归是独立于这个数字，可以非常迅速地计算，这使得这种方法成为有趣的替代回归方法，其处理过程随数据集的增大而增长。另一个好处是，输入和输出变量都可以是多维的，而无需修改模型。

​ 演示数据训练集的联合分布为 $\mathcal{P}\left({\xi \text{ξ}\xi }^{\mathcal{I}},{\xi \text{ξ}\xi }^{\mathcal{O}}\right)\backsim {\sum }_{i=1}^K{\pi }_i\mathcal{N}\left({\mu \text{μ}\mu }_i,{\Sigma \text{Σ}\Sigma }_i\right)$ ，其中 $\mathcal{I}$ 和 $\mathcal{O}$ 分别为输入和输出的维度，每一个的迭代步骤 $t$中，数据点 ${\xi \text{ξ}\xi }_t$ 可以分解为输入和输出的两个子向量 ${\xi \text{ξ}\xi }_t^{\mathcal{I}}$ 和 ${\xi \text{ξ}\xi }_t^{\mathcal{O}}$ 。如对于任务空间的轨迹编码，$\mathcal{I}$ 对应于时间输入维度（如衰减项的值），$\mathcal{O}$ 对应于描述路径的输出维度（如任务空间中的末端执行器位置）。故可得以下块分解，
$${\xi \text{ξ}\xi }_t=\left[\begin{array}{c}{\xi \text{ξ}\xi }_t^{\mathcal{I}}\\ {\xi \text{ξ}\xi }_t^{\mathcal{O}}\end{array}\right],{\mu \text{μ}\mu }_i=\left[\begin{array}{c}{\mu \text{μ}\mu }_i^{\mathcal{I}}\\ {\mu \text{μ}\mu }_i^{\mathcal{O}}\end{array}\right],{\Sigma \text{Σ}\Sigma }_i=\left[\begin{array}{cc}{\Sigma \text{Σ}\Sigma }_i^{\mathcal{I}}& {\Sigma \text{Σ}\Sigma }_i^{\mathcal{I}\mathcal{O}}\\ {\Sigma \text{Σ}\Sigma }_i^{\mathcal{O}\mathcal{I}}& {\Sigma \text{Σ}\Sigma }_i^{\mathcal{O}}\end{array}\right].\text{\hspace{1em}(9)}$$
在执行任务的每一步 $t$ 中，计算条件分布 $\mathcal{P}\left({\xi \text{ξ}\xi }^{\mathcal{O}}|{\xi \text{ξ}\xi }^{\mathcal{I}}\right)$ ,
$$\begin{gathered} \mathcal{P}\left({\xi \text{ξ}\xi }^{\mathcal{O}}|{\xi \text{ξ}\xi }^{\mathcal{I}}\right)\backsim \sum _{i=1}^K{h}_i({\xi \text{ξ}\xi }_t^{\mathcal{I}})\mathcal{N}\left({\widehat{\mu \text{μ}\mu }}_i^{\mathcal{O}}({\xi \text{ξ}\xi }_t^{\mathcal{I}}),{\widehat{\Sigma \text{Σ}\Sigma }}_i^{\mathcal{O}}\right), \\ \text{with}{\hat{\mathbf{\mu }}}_i^{\mathcal{O}}\left({\mathbf{\xi }}_t^{\mathcal{I}}\right)={\mathbf{\mu }}_i^{\mathcal{O}}+{\Sigma \text{Σ}\Sigma }_i^{\mathcal{O}\mathcal{I}}{\Sigma \text{Σ}\Sigma }_i^{\mathcal{I}-1}\left({\mathbf{\xi }}_t^{\mathcal{I}}-{\mathbf{\mu }}_i^{\mathcal{I}}\right), \\ {\widehat{\Sigma \text{Σ}\Sigma }}_i^{\mathcal{O}}={\Sigma \text{Σ}\Sigma }_i^{\mathcal{O}}-{\Sigma \text{Σ}\Sigma }_i^{\mathcal{O}\mathcal{I}}{\Sigma \text{Σ}\Sigma }_i^{\mathcal{I}-1}{\Sigma \text{Σ}\Sigma }_i^{\mathcal{I}\mathcal{O}}, \\ \text{and}{h}_i\left({\mathbf{\xi }}_t^{\mathcal{I}}\right)=\frac{{\pi }_i\mathcal{N}\left({\mathbf{\xi }}_t^{\mathcal{I}}\mid {\mathbf{\mu }}_i^{\mathcal{I}},{\Sigma \text{Σ}\Sigma }_i^{\mathcal{I}}\right)}{{\sum }_k^K{\pi }_k\mathcal{N}\left({\xi \text{ξ}\xi }_t^{\mathcal{I}}\mid {\mathbf{\mu }}_k^{\mathcal{I}},{\Sigma \text{Σ}\Sigma }_k^{\mathcal{I}}\right)}.\text{\hspace{1em}(10)} \end{gathered}$$
值得注意的是，上式表示的是一个多模态分布，对于单峰输出分布的问题可近似为正态分布，
$$\mathcal{P}\left({\xi \text{ξ}\xi }^{\mathcal{O}}\mid {\xi \text{ξ}\xi }^{\mathcal{I}}\right)=\mathcal{N}\left({\mathbf{\xi }}_t^{\mathcal{O}}\mid {\hat{\mathbf{\mu }}}_i^{\mathcal{O}},{\hat{\Sigma }\text{Σ^}\hat{\Sigma }}_i^{\mathcal{O}}\right),\text{\hspace{1em}(11)}$$
$$\begin{gathered} \text{with}{\hat{\mathbf{\mu }}}_t^{\mathcal{O}}=\sum _{i=1}^K{h}_i\left({\mathbf{\xi }}_t^{\mathcal{I}}\right){\hat{\mathbf{\mu }}}_i^{\mathcal{O}}\left({\mathbf{\xi }}_t^{\mathcal{I}}\right), \\ {\hat{\mathbf{\Sigma }}}_t^{\mathcal{O}}=\sum _{i=1}^K{h}_i\left({\mathbf{\xi }}_t^{\mathcal{I}}\right)\left({\hat{\mathbf{\Sigma }}}_i^{\mathcal{O}}+{\hat{\mathbf{\mu }}}_i^{\mathcal{O}}\left({\mathbf{\xi }}_t^{\mathcal{I}}\right){\hat{\mathbf{\mu }}}_i^{\mathcal{O}}{\left({\mathbf{\xi }}_t^{\mathcal{I}}\right)}^{\top }\right)-{\hat{\mathbf{\mu }}}_t^{\mathcal{O}}{\hat{\mathbf{\mu }}}_t^{{\mathcal{O}}^{\top }}.\text{\hspace{1em}(12)} \end{gathered}$$
其中式 11 中检索到的信号以全协方差矩阵的形式封装变化和相关信息。

GMR可被视为全局方法和局部方法之间的折衷，因为通过期望最大化（EM）算法将基函数的位置和扩展及其响应学习为软划分问题，而预测是局部线性系统的加权叠加。它为检索到的多维输出提供变化和相关信息，从而能够提取运动中的局部协调模式。

实践中，GMR有三种应用方式：

1. 基于GMM学习概率分布 $\mathcal{P}\left(x\text{x}x,\dot{x}\text{x˙}\dot{x}\right)$ ，系统状态为 $\pmb{\xi}={\left[{\pmb{x}}^{\top}, {\boldsymbol{\dot{x}}}^{{\top}\right]}}{\top} $，其中 $x\text{x}x$ 和 $\dot{x}\text{x˙}\dot{x}$ 分别为系统的位置和速度，在执行任务时通过GMR估计的条件分布 $\mathcal{P}\left(\dot{x}\text{x˙}\dot{x}\mid x\text{x}x\right)$ 得到速度指令。
2. 应用于轨迹类型的系统状态 $\xi \text{ξ}\xi ={\left[t,{x\text{x}x}^{\top }\right]}^{\top }$ ，通过GMM学习概率分布 $\mathcal{P}\left(t,x\text{x}x\right)$ ，在执行任务时通过GMR估计的条件分布 $\mathcal{P}\left(x\text{x}x\mid t\right)$ 得到位置信息。
3. 作为动态运动基元（DMP）的概率公式。

​ 单独使用TP-GMM时，是使用任务参数 ${\mathbf{A}}_{t,j}^{\mathcal{O}}$ 与 ${\mathbf{b}}_{t,j}^{\mathcal{O}}$ 来对 ${\mathbf{\xi }}^{\mathcal{O}}$ 进行编码；TP-GMM与GMR组合使用任务参数
$${\mathbf{A}}_{t,j}=\left[\begin{array}{cc}I\text{I}I& 0\text{0}0\\ 0\text{0}0& {\mathbf{A}}_{t,j}^{\mathcal{O}}\end{array}\right],{\mathbf{b}}_{t,j}=\left[\begin{array}{c}0\text{0}0\\ {\mathbf{b}}_{t,j}^{\mathcal{O}}\end{array}\right],\text{\hspace{1em}(13)}$$
来对 $\xi \text{ξ}\xi ={\left[{{\xi \text{ξ}\xi }^{\mathcal{I}}}^{\top },{{\mathbf{\xi }}^{\mathcal{O}}}^{\top }\right]}^{\top }$ 进行编码。

如图4，左图为单高斯变量的高斯混合回归，中间为包含两个高斯变量的GMR，拓展到右图$K=N$个高斯变量的GMR。

5.2 具有动态特征的GMM (trajectory-GMM)

​ 对于运动编码，速度和加速度也可以作为动态特征。通过考虑欧拉近似，速度计算如下
$${\dot{\mathbf{x}}}_t=\frac{{\mathbf{x}}_{t+1}-{\mathbf{x}}_t}{\Delta t},\text{\hspace{1em}(14)}$$
加速度为
$${\ddot{\mathbf{x}}}_t=\frac{{\dot{\mathbf{x}}}_{t+1}-{\dot{\mathbf{x}}}_t}{\Delta t}=\frac{{\mathbf{x}}_{t+2}-2{\mathbf{x}}_{t+1}+{\mathbf{x}}_t}{\Delta t^2}.\text{\hspace{1em}(15)}$$
故可以得到每一时刻的状态
$${\zeta \text{ζ}\zeta }_t=\left[\begin{array}{c}{\mathbf{x}}_t\\ {\dot{\mathbf{x}}}_t\\ {\ddot{\mathbf{x}}}_t\end{array}\right]=\left[\begin{array}{ccc}\mathbf{I}& 0& 0\\ -\frac{1}{\Delta t}\mathbf{I}& \frac{1}{\Delta t}\mathbf{I}& 0\\ \frac{1}{\Delta t^2}\mathbf{I}& -\frac{2}{\Delta t^2}\mathbf{I}& \frac{1}{\Delta t^2}\mathbf{I}\end{array}\right]\left[\begin{array}{c}{\mathbf{x}}_t\\ {\mathbf{x}}_{t+1}\\ {\mathbf{x}}_{t+2}\end{array}\right].\text{\hspace{1em}(16)}$$
进一步可定义一个大型稀疏矩阵
$$\stackrel{\zeta \text{ζ}\zeta }{\overbrace{\left[\begin{array}{c}⋮\\ {\mathbf{x}}_t\\ {\dot{\mathbf{x}}}_t\\ {\ddot{\mathbf{x}}}_t\\ {\mathbf{x}}_{t+1}\\ {\dot{\mathbf{x}}}_{t+1}\\ {\ddot{\mathbf{x}}}_{t+1}\\ ⋮\end{array}\right]}}=\stackrel{\Phi }{\overbrace{\left[\begin{array}{ccccc}\ddots & ⋮& ⋮& ⋮& \ddots \\ \cdots & \mathbf{I}& 0& 0& \cdots \\ \cdots & -\frac{1}{\Delta t}\mathbf{I}& \frac{1}{\Delta t}\mathbf{I}& 0& \cdots \\ \cdots & \frac{1}{\Delta t^2}\mathbf{I}& -\frac{2}{\Delta t^2}\mathbf{I}& \frac{1}{\Delta t^2}\mathbf{I}& \cdots \\ & \cdots & \mathbf{I}& 0& 0\\ & \cdots & -\frac{1}{\Delta t}\mathbf{I}& \frac{1}{\Delta t}\mathbf{I}& 0\\ & \cdots & \frac{1}{\Delta t^2}\mathbf{I}& -\frac{2}{\Delta t^2}\mathbf{I}& \frac{1}{\Delta t^2}\mathbf{I}\end{array}\right]}}\stackrel{\mathbf{x}}{\overbrace{\left[\begin{array}{c}⋮\\ {\mathbf{x}}_t\\ {\mathbf{x}}_{t+1}\\ {\mathbf{x}}_{t+2}\\ {\mathbf{x}}_{t+3}\\ ⋮\end{array}\right]}}.\text{\hspace{1em}(17)}$$
演示数据集 { ξ t } t = 1 N \{\pmb{\xi}_t\}_{t=1}^N {ξ​ξ​​ξt​}t=1N​ 由 $M$ 条采样演示轨迹组成，其中第 $m$ 条轨迹包含 $T_m$ 个点，即数据集中共 $N={\sum }_m^M{T}_m$ 个点，使用GMM进行编码得到描述演示任务的概率模型 $\mathcal{P}(\zeta \text{ζ}\zeta )\backsim {\sum }_{i=1}^K{\pi }_i\mathcal{N}({\mu \text{μ}\mu }_i,{\Sigma \text{Σ}\Sigma }_i)$ 。在执行新任务时，可能出现的一系列状态 s = { s 1 , s 2 , … , s T } \pmb{s} = \{s_1,s_2,\dots,s_T\} sss={s1​,s2​,…,sT​} ，其中 s t ∈ { 1 , … , K } s_t \in \{1,\dots,K\} st​∈{1,…,K} ，生成的运动为
$$\mathcal{P}(\zeta \text{ζ}\zeta \mid s\text{s}s)=\prod _{t=1}^T\mathcal{N}({\zeta \text{ζ}\zeta }_t\mid {\mu \text{μ}\mu }_{s_t},{\Sigma \text{Σ}\Sigma }_{s_t}),\text{\hspace{1em}(18)}$$
其中 ${\mu \text{μ}\mu }_{s_t}$ 与 ${\Sigma \text{Σ}\Sigma }_{s_t}$ 为状态 $s_t$ 的中心和协方差。式24 可以改写为条件分布
$$\begin{gathered} \mathcal{P}(\zeta \text{ζ}\zeta \mid s\text{s}s)=\mathcal{N}(\zeta \text{ζ}\zeta \mid {\mu \text{μ}\mu }_s,{\Sigma \text{Σ}\Sigma }_s), \\ \text{with}{\mu \text{μ}\mu }_s=\left[\begin{array}{c}{\mu \text{μ}\mu }_{s1}\\ {\mu \text{μ}\mu }_{s1}\\ ⋮\\ {\mu \text{μ}\mu }_{sT}\end{array}\right]\text{and}{\Sigma }_s=\left[\begin{array}{cccc}{\Sigma }_{s_1}& 0& \cdots & 0\\ 0& {\Sigma }_{s_2}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\Sigma }_{s_T}\end{array}\right].\text{\hspace{1em}(19)} \end{gathered}$$
为了生成最符合所演示的运动技能，最大化，
$$\widehat{x\text{x}x}=\arg \underset{x\text{x}x}{\max }\log \mathcal{P}(\Phi \text{Φ}\Phi x\text{x}x\mid s\text{s}s),\text{\hspace{1em}(20)}$$
其中与 $x\text{x}x$ 有关的部分采用最小化平方误差的目标函数形式
$$\begin{gathered} c={({\mu \text{μ}\mu }_s-\zeta \text{ζ}\zeta )}^{\top }{\Sigma \text{Σ}\Sigma }_s^{-1}({\mu \text{μ}\mu }_s-\zeta \text{ζ}\zeta ) \\ ={({\mu \text{μ}\mu }_s-\Phi \text{Φ}\Phi x\text{x}x)}^{\top }{\Sigma \text{Σ}\Sigma }_s^{-1}({\mu \text{μ}\mu }_s-\Phi \text{Φ}\Phi x\text{x}x)\text{\hspace{1em}(21)} \end{gathered}$$
对 $x$ 求微分最小化目标函数，得到
$$\widehat{x\text{x}x}={({\Phi \text{Φ}\Phi }^{\top }{\Sigma \text{Σ}\Sigma }_s^{-1}\Phi \text{Φ}\Phi )}^{-1}{\Phi \text{Φ}\Phi }^{\top }{\Sigma \text{Σ}\Sigma }_s^{-1}{\mu \text{μ}\mu }_s,\text{\hspace{1em}(22)}$$
估计协方差误差为
$${\widehat{\Sigma \text{Σ}\Sigma }}^{x\text{x}x}=\sigma {({\Phi \text{Φ}\Phi }^{\top }{\Sigma \text{Σ}\Sigma }_s^{-1}\Phi \text{Φ}\Phi )}^{-1},\text{\hspace{1em}(23)}$$
其中 $\sigma$ 为比例系数

如图5，左侧为4个平面演示轨迹，是一个完整长运动轨迹的子轨迹，互不连续，且包括两个可选的效果相似的子轨迹；中间图示是将利用一个包含18个高斯变量的trajectory-GMM进行建模后的结果；右图为从生成模型中检索生成完整的运动轨迹，平滑且等概率性选择中间两条路径之一。

TP-GMM和trajectory-GMM的结合是通过增加位置数据及其导数（例如速度和加速度）来实现对 $\zeta \text{ζ}\zeta ={[{x\text{x}x}^{\top },{\dot{x\text{x}x}}^{\top },{\ddot{x\text{x}x}}^{\top }]}^{\top }$ 进行编码的，并定义所有任务参数 ${A\text{A}A}_{t,j}$ 和 ${b\text{b}b}_{t,j}$ 以便它们也适用于导数，
$${\mathbf{A}}_{t,j}=\left[\begin{array}{ccc}{\mathbf{A}}_{t,j}^{\mathcal{O}}& 0& 0\\ 0& {\mathbf{A}}_{t,j}^{\mathcal{O}}& 0\\ 0& 0& {\mathbf{A}}_{t,j}^{\mathcal{O}}\end{array}\right],{\mathbf{b}}_{t,j}=\left[\begin{array}{c}{\mathbf{b}}_{t,j}^{\mathcal{O}}\\ 0\\ 0\end{array}\right].\text{\hspace{1em}(24)}$$

5.3 基于动态特征与基于时间特征的GMM方法分析

​ 具有时间索引轨迹的GMR（第[5.1](#5.1 高斯混合回归)节）是从GMM生成轨迹的简单解决方案，缺点是基于时间的GMR在实践中通常需要预处理步骤，如动态时间扭曲（DTW），以便使多个演示在时间上对齐。出于同样的原因，基于时间的GMR还可能降低更复杂形式教学交互情形下的运动合成的适用性，例如学习重复模式（离散运动和周期运动的组合）或演示运动中的不同选项。trajectory-GMM的情况并非如此，它可以在不进一步修改模型的情况下处理这两个问题（见第[5.2](#5.2 具有动态特征的GMM (trajectory-GMM))节）。这是以增加GMM维度为代价实现的（通过编码位置、速度和加速度信息，而不是直接基于GMR中的位置和时间）。

​ 随时间特征编码动态特征的另一个优点是，可以在训练集中轻松使用部分演示，见图5。在服务机器人应用中，有时很难在一次拍摄中演示复杂的操作任务，而且效率低下。一种更方便用户的方法是提供全身运动的增量校正或分段演示，可以使用完整运动的部分块来训练模型。这一点在具有大量关节的机器人的动觉教学中也是必需的（因为用户无法用双手同时控制所有自由度）。trajectory-GMM在这里提供了一种无需进一步修改模型即可处理部分演示的方法。

[参考文献]
[1] Calinon S. A tutorial on task-parameterized movement learning and retrieval[J]. Intelligent Service Robotics, 2016, 9(1):1-29.