周学习总结

EM算法

高斯混合模型

随机变量 X 满足如下概率分布：
$$P(X;\theta )=\sum _{j=1}^k{\alpha }_j\phi \left(X;{\theta }_j\right)$$
其中${\alpha }_j$ 是满足${\alpha }_j>0$且${\sum }_{j=1}^k{\alpha }_j=1$的系数；$\phi \left(X;{\theta }_j\right)$是参数${\theta }_j=\left({\mu }_j,{\sigma }_j^2\right)$的高斯分布密度函数。
假设${\alpha }_j$为随机变量$z_j$服从概率分布$z_{j}P(Z;\lambda )$，则参数 θ = { λ , μ , ∑ } \theta=\{\lambda,\mu,\sum\} θ={λ,μ,∑}

由于样本集X的变量相互独立，因此想要找到一组参数$\theta$使事件发生的概率最大
$$\begin{array}{rl}\arg \underset{\hat{\theta }}{\max }P(X;\theta )& =\arg \underset{\hat{\theta }}{\max }\prod _{i=1}^m\sum _{j=1}^{n}P\left(X=x_i,Z=z_j;\theta \right)\\ & =\arg \underset{\hat{\theta }}{\max }\prod _X\sum _{Z}P(X,Z;\theta )\\ & =\arg \underset{\hat{\theta }}{\max }L(\theta )\end{array}$$
Z是函数的隐变量，通常是要求解多个概率的系数，且 ${\sum }_{j=1}P(Z=z_j)=1$

（1） 变换似然函数并寻找下界
对似然函数取对数，用$log({\sum }_{i=1}{x}_i)>={\sum }_{i=1}log(x_i)$凹函数的性质求解下界
$$\begin{array}{rl}\mathcal{L}(\theta )& =\sum _{i=1}^m\log \sum _{j=1}^{n}P\left(X=x_i,Z=z_j;\theta \right)\\ & =\sum _{i=1}^m\log \sum _{j=1}^{n}Q\left(Z=z_j;{\theta }_z\right)\frac{P\left(X=x_i,Z=z_j;\theta \right)}{Q\left(Z=z_j;{\theta }_z\right)}\\ & \ge \sum _{i=1}^m\sum _{j=1}^{n}Q\left(Z=z_j;{\theta }_z\right)\log \frac{P\left(X=x_i,Z=z_j;\theta \right)}{Q\left(Z=z_j;{\theta }_z\right)}\\ & =\sum _X\sum _{Z}Q\left(Z;{\theta }_z\right)\log \frac{P(X,Z;\theta )}{Q\left(Z;{\theta }_z\right)}\end{array}$$

E 步

高斯混合模型产生了 m 个样例，每个样例 $x_i$ 的隐含类别 $Z=z_j$ 的概率，E步即求解隐变量$z_j$的过程，先估计参数 θ = { α , μ , ∑ } \theta=\{ \alpha, \mu,\sum\} θ={α,μ,∑}的初值，则Z的后验概率为
$$\begin{array}{rl}{Q}_i\left(Z=z_j\right)& =P\left(Z=z_j\mid X=x_i;\theta \right)\\ & =\frac{P\left(Z=z_j,X=x_i;\theta \right)}{P\left(X=x_i;\theta \right)}\\ & =\frac{P\left(Z=z_j,X=x_i;\theta \right)}{{\sum }_{r=1}^{k}P\left(Z=z_r,X=x_i;\theta \right)}\\ & =\frac{{\alpha }_j\phi \left(X=x_i;{\theta }_j\right)}{{\sum }_{r=1}^k{\alpha }_r\phi \left(X=x_i;{\theta }_r\right)}\end{array}$$

M步

M步其实就是在求解出$Q_i(Z=z_j)$之后，根据极大似然函数求极值求解参数$\theta$的值
$$\begin{array}{rl}\mathcal{L}(\theta )& =\sum _X\sum _{Z}Q\left(Z;{\theta }_z\right)\log \frac{P(X,Z;\theta )}{Q\left(Z;{\theta }_z\right)}\\ & =\sum _{i=1}^m\sum _{j=1}^k{Q}_i\left(Z=z_j;\theta \right)\log \frac{P\left(X=x_i,Z=z_j;\theta \right)}{Q_i\left(Z=z_j;\theta \right)}\\ & =\sum _{i=1}^m\sum _{j=1}^k{Q}_i\left(Z=z_j\right)\log \frac{P\left(X=x_i;\mu ,\Sigma \right)P\left(Z=z_j;\lambda \right)}{Q_i\left(Z=z_j\right)}\end{array}$$

• 求解参数${\mu }_l$，公式就和我们平时求解均值的公式一样，这里$w_{i,j}=Q_i(Z=z_j)$
  $${\mu }_l=\frac{{\sum }_{i=1}^m{w}_{i,l}{x}_i}{{\sum }_{i=1}^m{w}_{i,l}}$$
• 求解参数${\sum }_l$
  $${\Sigma }_l=\frac{{\sum }_{i=1}^m\left(x_i-{\mu }_l\right){\left(x_i-{\mu }_l\right)}^T{w}_{i,l}}{{\sum }_{i=1}^m{w}_{i,l}}$$
• 求解${\alpha }_l$
  $${\alpha }_l=\frac{1}{m}\sum _{i=1}^m{w}_{i,l}$$

详细过程

高斯混合回归 GMR

高斯混合回归 ( Gaussian Mixture Regression)是另一种流行的时间序列和运动表示技术。它依赖于多元高斯分布的线性变换和条件反射性质。GMR提供了一种综合机制来计算输出分布，其计算时间与用于训练模型的数据点的数量无关。GMR的一个特点是它不直接对回归函数进行建模。相反，它首先以高斯混合模型(GMM)的形式来模拟数据的联合概率密度。然后可以从学习的联合密度模型计算回归函数，从而非常快速地计算条件分布。

在GMR中，输入变量和输出变量都可以是多维的。可以选择输入-输出维度的任何子集，如果需要，它可以在每个时间步长中进行更改。因此，可以考虑输入-输出映射的任何组合，其中对其余维度的期望被计算为一个多元分布。下面，我们将在时间步$t$的数据点${\mathbf{x}}_t\in {\mathbb{R}}^D$的块分解，将GMM中第$k$个高斯分布的中心${\mu }_k$和协方差${\Sigma }_k$表示为
$${\mathbf{x}}_t=\left[\begin{array}{c}{\mathbf{x}}_t^I\\ {\mathbf{x}}_t^O\end{array}\right],{\mathbf{\mu }}_k=\left[\begin{array}{l}{\mathbf{\mu }}_k^I\\ {\mathbf{\mu }}_k^O\end{array}\right],{\mathbf{\Sigma }}_k=\left[\begin{array}{cc}{\mathbf{\Sigma }}_k^I& {\mathbf{\Sigma }}_k^{IO}\\ {\mathbf{\Sigma }}_k^{OI}& {\mathbf{\Sigma }}_k^O\end{array}\right]$$

我们首先考虑基于时间的轨迹的例子，使用${\mathbf{x}}_t^I$的时间变量。在每个时间步长$t$，$P({\mathbf{x}}_t^O|{\mathbf{x}}_t^I)$可以计算为多元高斯条件分布
$$\mathcal{P}\left({\mathbf{x}}_t^o\mid {\mathbf{x}}_t^I\right)=\sum _{k=1}^K{h}_k\left({\mathbf{x}}_t^I\right)\mathcal{N}\left({\hat{\mathbf{\mu }}}_k^o\left({\mathbf{x}}_t^I\right),{\hat{\mathbf{\Sigma }}}_k^o\right),$$
则高斯分布的参数更新为：
$$\begin{gathered} {\hat{\mathbf{\mu }}}_k^o\left({\mathbf{x}}_t^I\right)={\mathbf{\mu }}_k^o+{\mathbf{\Sigma }}_k^{OI}{\mathbf{\Sigma }}_k^{I-1}\left({\mathbf{x}}_t^I-{\mathbf{\mu }}_k^I\right) \\ \begin{array}{rl}{\hat{\mathbf{\Sigma }}}_k^o& ={\mathbf{\Sigma }}_k^O-{\mathbf{\Sigma }}_k^{OI}{\mathbf{\Sigma }}_k^{I-1}{\mathbf{\Sigma }}_k^{IO}\\ \text{ and }{h}_k\left({\mathbf{x}}_t^I\right)& =\frac{{\pi }_k\mathcal{N}\left({\mathbf{x}}_t^I\mid {\mathbf{\mu }}_k^I,{\mathbf{\Sigma }}_k^I\right)}{{\sum }_{i=1}^K{\pi }_i\mathcal{N}\left({\mathbf{x}}_t^I\mid {\mathbf{\mu }}_i^I,{\mathbf{\Sigma }}_i^I\right)}\end{array} \end{gathered}$$
其中 $h_k$是EM算法估计的E步，求解隐变量

当需要单峰输出分布时，可以使用总均值和方差定律（见图，右）来用高斯分布来近似该分布
$$\begin{array}{rl}\mathcal{P}\left({\mathbf{x}}_t^o\mid {\mathbf{x}}_t^I\right)& =\mathcal{N}\left({\mathbf{x}}_t^o\mid {\hat{\mathbf{\mu }}}^O\left({\mathbf{x}}_t^I\right),{\hat{\mathbf{\Sigma }}}^o\left({\mathbf{x}}_t^I\right)\right)\\ {\hat{\mathbf{\mu }}}^O\left({\mathbf{x}}_t^I\right)& =\sum _{k=1}^K{h}_k\left({\mathbf{x}}_t^I\right){\hat{\mathbf{\mu }}}_k^O\left({\mathbf{x}}_t^I\right)\\ {\hat{\mathbf{\Sigma }}}^O\left({\mathbf{x}}_t^I\right)& =\sum _{k=1}^K{h}_k\left({\mathbf{x}}_t^I\right)\left({\hat{\mathbf{\Sigma }}}_k^o+{\hat{\mathbf{\mu }}}_k^O\left({\mathbf{x}}_t^I\right){\hat{\mathbf{\mu }}}_k^O{\left({\mathbf{x}}_t^I\right)}^{\top }\right)-{\hat{\mathbf{\mu }}}^O\left({\mathbf{x}}_t^I\right){\hat{\mathbf{\mu }}}^O{\left({\mathbf{x}}_t^I\right)}^{\top }\end{array}$$

高斯过程回归

高斯过程

高斯过程(Gaussian Process)指高斯分布与随机过程，是定义在连续域上的无限多个高斯随机变量组成的随机过程，即高斯过程是一个无限维的高斯分布
对于一个连续域$T$（假设他是一个时间轴），如果我们在连续域上任选$n$个时刻：$t_1,t_2,t_3,...,t_n\in T$，使得获得的一个$n$维向量 { ξ 1 , ξ 2 , ξ 3 , … , ξ n } \left\{\xi_{1}, \xi_{2}, \xi_{3}, \ldots, \xi_{n}\right\} {ξ1​,ξ2​,ξ3​,…,ξn​}都满足其是一个$n$维高斯分布，那么这个 { ξ t } \{\xi_t\} {ξt​}就是一个高斯过程。

核函数

核函数以径向基函数为例，其中$s$和 $t$表示任意两个时刻，核函数也称协方差函数。
$$k(s,t)={\sigma }^2\exp \left(-\frac{\Vert s-t{\Vert }^2}{2l^2}\right)$$

高斯过程回归 GPR

用$\mu (t)$和$k(s,t)$来定义高斯过程，因为没有观测值，因此是一个先验，如果获取一组观测值后，如何修正高斯过程的均值函数与核函数，使之得到后验过程？

假设一个回归问题：${\mathbf{x}}^O=f({\mathbf{x}}^I)+\mathbf{\eta }$，$f$是未知函数，$\eta$是高斯噪声，通过假设观测数据集作为输入-输出对${\left\{{\mathbf{x}}_t^{\mathcal{I}},{\mathbf{x}}_t^{\mathcal{O}}\right\}}_{t=1}^N$，目的是评估函数$f$的形式和相应的输出分布${\mathbf{x}}^O$, 即${\mathbf{x}}^{\mathcal{O}\ast }\sim \mathcal{P}\left({\mathbf{x}}^{\mathcal{O}}\mid {\mathbf{x}}^{\mathcal{I}\ast }\right)$

协方差是高斯过程的核心，通过使用核函数$k({\mathbf{x}}_i^I,{\mathbf{x}}_j^I)$定义，提供两个样本${\mathbf{x}}_i^I$和${\mathbf{x}}_j^I$之间的协方差元素。对于一组输入 x I ＝ { X 1 I ， X 2 I ， … ， X N I } \boldsymbol{x}^I＝\{X_1^I，X_2^I，…，X_N^I \} xI＝{X1I​，X2I​，…，XNI​}，协方差矩阵（也称为GM矩阵）被定义为：
$$\mathbf{K}\left({\mathbf{x}}^{\mathcal{I}},{\mathbf{x}}^{\mathcal{I}}\right)=\left[\begin{array}{cccc}k\left({\mathbf{x}}_1^{\mathcal{I}},{\mathbf{x}}_1^{\mathcal{I}}\right)& k\left({\mathbf{x}}_1^{\mathcal{I}},{\mathbf{x}}_2^{\mathcal{I}}\right)& \cdots & k\left({\mathbf{x}}_1^{\mathcal{I}},{\mathbf{x}}_N^{\mathcal{I}}\right)\\ k\left({\mathbf{x}}_2^{\mathcal{I}},{\mathbf{x}}_1^{\mathcal{I}}\right)& k\left({\mathbf{x}}_2^{\mathcal{I}},{\mathbf{x}}_2^{\mathcal{I}}\right)& \cdots & k\left({\mathbf{x}}_2^{\mathcal{I}},{\mathbf{x}}_N^{\mathcal{I}}\right)\\ ⋮& ⋮& \ddots & ⋮\\ k\left({\mathbf{x}}_N^{\mathcal{I}},{\mathbf{x}}_1^{\mathcal{I}}\right)& k\left({\mathbf{x}}_N^{\mathcal{I}},{\mathbf{x}}_2^{\mathcal{I}}\right)& \cdots & k\left({\mathbf{x}}_N^{\mathcal{I}},{\mathbf{x}}_N^{\mathcal{I}}\right)\end{array}\right]$$
即混合高斯分布服从 ${\mathbf{x}}^O\sim \mathcal{N}\left(\mathbf{\mu }\left({\mathbf{x}}^{\mathcal{I}}\right),\mathbf{K}\left({\mathbf{x}}^{\mathcal{I}},{\mathbf{x}}^{\mathcal{I}}\right)\right)$

当存在与观测值相关的相关的噪声时，$I$是单位矩阵，即噪声仅添加在对角线上
$$\tilde{\mathbf{K}}\left({\mathbf{x}}^{\mathcal{I}},{\mathbf{x}}^{\mathcal{I}}\right)=\mathbf{K}\left({\mathbf{x}}^{\mathcal{I}},{\mathbf{x}}^{\mathcal{I}}\right)+{\Theta }^{\mathrm{G}\mathrm{P}}\mathbf{I}$$

对于回归问题，我们感兴趣的是给定输入数据${\mathbf{x}}^{I\ast }$的后验分布${\mathbf{x}}^{O\ast }$，那么输入输出对 { x I , x O } \{ \boldsymbol{x}^I, \boldsymbol{x}^O\} {xI,xO}增加输入新的输入${\mathbf{x}}^{I\ast }$和输出${\mathbf{x}}^{O\ast }$的联合分布为：
$$\left[\begin{array}{c}{\mathbf{x}}^{\mathcal{O}}\\ {\mathbf{x}}^{\mathcal{O}\ast }\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{c}\mathbf{\mu }\left({\mathbf{x}}^{\mathcal{I}}\right)\\ \mathbf{\mu }\left({\mathbf{x}}^{\mathcal{I}\ast }\right)\end{array}\right],\left[\begin{array}{cc}\mathbf{K}\left({\mathbf{x}}^{\mathcal{I}},{\mathbf{x}}^{\mathcal{I}}\right)& \mathbf{K}\left({\mathbf{x}}^{\mathcal{I}},{\mathbf{x}}^{\mathcal{I}\ast }\right)\\ \mathbf{K}\left({\mathbf{x}}^{\mathcal{I}\ast },{\mathbf{x}}^{\mathcal{I}}\right)& \mathbf{K}\left({\mathbf{x}}^{\mathcal{I}\ast },{\mathbf{x}}^{\mathcal{I}\ast }\right)\end{array}\right]\right)$$
利用条件高斯分布可以估计出输出${\mathbf{x}}^{O\ast }$的后验分布:
$${\mathbf{x}}^{\mathcal{O}\ast }\mid {\mathbf{x}}^{\mathcal{O}}\sim \mathcal{N}\left({\mathbf{\mu }}^{\ast },{\mathbf{\Sigma }}^{\ast }\right)$$

其中均值与协方差：
$$\begin{array}{rl}{\mathbf{\mu }}^{\ast }& =\mathbf{\mu }\left({\mathbf{x}}^{\mathcal{I}\ast }\right)+\mathbf{K}\left({\mathbf{x}}^{\mathcal{I}\ast },{\mathbf{x}}^{\mathcal{I}}\right)\mathbf{K}{\left({\mathbf{x}}^{\mathcal{I}},{\mathbf{x}}^{\mathcal{I}}\right)}^{-1}\left({\mathbf{x}}^{\mathcal{O}}-\mathbf{\mu }\left({\mathbf{x}}^{\mathcal{I}}\right)\right)\\ {\mathbf{\Sigma }}^{\ast }& =\mathbf{K}\left({\mathbf{x}}^{\mathcal{I}\ast },{\mathbf{x}}^{\mathcal{I}\ast }\right)-\mathbf{K}\left({\mathbf{x}}^{\mathcal{I}\ast },{\mathbf{x}}^{\mathcal{I}}\right)\mathbf{K}{\left({\mathbf{x}}^{\mathcal{I}},{\mathbf{x}}^{\mathcal{I}}\right)}^{-1}\mathbf{K}\left({\mathbf{x}}^{\mathcal{I}},{\mathbf{x}}^{\mathcal{I}\ast }\right)\end{array}$$

也就是说，设置了高斯过程的先验参数，一旦拿到一些观测值，那么就可以对高斯过程的均值函数和核函数进行修正，得到一个修正后的后验高斯过程，而更新后验参数的信息就来自于观测值。

概率运动基元

ProMP（probabilistic movement primitive）模型假设每一条演示的轨迹 m ∈ { 1 ， … ， M } m \in \{1，…，M\} m∈{1，…，M} 可以用$K$个归一化RBF的加权和来近似
$${\mathbf{\xi }}_m=\mathbf{\Psi }{\mathbf{w}}_m+\mathbf{ϵ},\mathbf{ϵ}\sim \mathcal{N}(0,\lambda \mathbf{I})$$
基函数的定义为
$$\mathbf{\Psi }=\left[\begin{array}{cccc}\mathbf{I}{\varphi }_1\left(t_1\right)& \mathbf{I}{\varphi }_2\left(t_1\right)& \cdots & \mathbf{I}{\varphi }_K\left(t_1\right)\\ \mathbf{I}{\varphi }_1\left(t_2\right)& \mathbf{I}{\varphi }_2\left(t_2\right)& \cdots & \mathbf{I}{\varphi }_K\left(t_2\right)\\ ⋮& ⋮& \ddots & ⋮\\ \mathbf{I}{\varphi }_1\left(t_T\right)& \mathbf{I}{\varphi }_2\left(t_T\right)& \cdots & \mathbf{I}{\varphi }_K\left(t_T\right)\end{array}\right]$$
其中$\mathbf{\Psi }\in {\mathbb{R}}^{DT\times DK}$，$I\in {\mathbb{R}}^D$，根据最小二乘法，求解最小标准差，向量${\mathbf{w}}_m\in {\mathbb{R}}^{DK}$可以被估计为
$${\mathbf{w}}_m={\left({\mathbf{\Psi }}^{\top }\mathbf{\Psi }\right)}^{-1}{\mathbf{\Psi }}^{\top }{\mathbf{\xi }}_m$$

假设 { w m } m = 1 M \left\{\boldsymbol{w}_{m}\right\}_{m=1}^{M} {wm​}m=1M​服从高斯分布 $\mathcal{N}({\mathbf{\mu }}^{\mathbf{w}},{\mathbf{\Sigma }}^{\mathbf{w}})$，则轨迹分布表示为
$$\mathcal{P}(\mathbf{\xi })=\int \mathcal{P}(\mathbf{\xi }\mid \mathbf{w})\mathcal{P}(\mathbf{w})d\mathbf{w}$$
积分去掉权重系数$\mathbf{w}$，从而得到轨迹的高斯分布
$$\mathbf{\xi }\sim \mathcal{N}\left(\mathbf{\Psi }{\mathbf{\mu }}^{\mathbf{w}},\mathbf{\Psi }{\mathbf{\Sigma }}^w{\mathbf{\Psi }}^{\top }+\lambda \mathbf{I}\right)$$

ProMP 参数为 θ = { λ , μ k I , Σ k I , μ w , Σ w } \theta = \{\lambda, \mu_k^I , \Sigma_k^I , \boldsymbol{\mu}^{\boldsymbol{w}}, \boldsymbol{\Sigma}^{\boldsymbol{w}}\} θ={λ,μkI​,ΣkI​,μw,Σw}，估计DK维的高斯分布，提供运动的紧凑表示，分离时间分量$\Psi$和空间分量$\mathcal{N}({\mathbf{\mu }}^{\mathbf{w}},{\mathbf{\Sigma }}^{\mathbf{w}})$。与DMP类似，ProMP可以与GMM/GMR结合，作为联合分布问题自动估计基函数的参数和泛化，而不是人工指定它们。