Robotics: Estimation and Learning.WEEK 1

$WEEK1$

1.1 1维高斯分布

1.1.1 为什么学习高斯分布？

$\bullet$两个参数（期望和方差）易于运算和解释说明
$\bullet$良好的数学属性（例如：高斯分布的乘积仍是高斯分布）
$\bullet$由中心极限定理，任何随机变量样本均值的期望收敛于高斯分布
因此，高斯分布是为噪声和不确定性建模的合适选择。
\qquad 高斯分布的形式为：
$$p(x)=\frac{1}{\sqrt{2\pi }{\sigma }^{}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}(1)$$

1.1.2 最大似然估计计算1维高斯参数

\qquad 使用给定的观测数据估计期望和方差,似然函数方程如下图所示：
p ( { x i } ∣ μ , σ ) ( 2 ) p(\{x_{i}\}| \mu,\sigma) \qquad(2) p({xi​}∣μ,σ)(2)其中，$x_i$为观测数据，$\mu ,\sigma$为未知参数。参数计算方程如下图所示：
$$\hat{\mu },\hat{\sigma }=arg\underset{\mu ,\sigma }{\max }p(x_i|\mu ,\sigma )(3)$$ \qquad 参数估计值为当似然函数取到最大值时对应的参数值。假设各估计值相互独立则：
p ( { x i } ∣ μ , σ ) = ∏ i = 1 N p ( x i ∣ μ , σ ) ( 4 ) p(\{x_{i}\}| \mu,\sigma)= \prod_{i=1}^N p({x_{i}}| \mu,\sigma)\qquad(4) p({xi​}∣μ,σ)=i=1∏N​p(xi​∣μ,σ)(4)高斯分布的参数估计具有解析解，其计算步骤为：
\qquad 首先对极大似然函数取对数形式，对数函数是单调递增则：
$$arg\underset{\mu ,\sigma }{\max }\prod _{i=1}^{N}p(x_i|\mu ,\sigma )=arg\underset{\mu ,\sigma }{\max }\ln \prod _{i=1}^{N}p(x_i|\mu ,\sigma )(5)$$由对数函数性质：
$$arg\underset{\mu ,\sigma }{\max }\ln \prod _{i=1}^{N}p(x_i|\mu ,\sigma )=arg\underset{\mu ,\sigma }{\max }\sum _{i=1}^N\ln p(x_i|\mu ,\sigma )(6)$$运算后得：
$$\hat{\mu },\hat{\sigma }=arg\underset{\mu ,\sigma }{\max }\sum _{i=1}^N\left\{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}-\ln \sigma -\ln \sqrt{2\pi }\right\}(7)$$忽略常数项并转化为最小值问题，记为$J(\mu ,\sigma )$
$$J(\mu ,\sigma )=\hat{\mu },\hat{\sigma }=arg\underset{\mu ,\sigma }{\min }\sum _{i=1}^N\left\{\frac{(x_i-\mu {)}^2}{2{\sigma }^2}+\ln \sigma \right\}(8)$$利用凸优化判据$\mu 和\sigma 看作自变量，对应代价函数的最小值$
$$\frac{\partial J}{\partial \mu }=0,\frac{\partial J}{\partial \sigma }=0(9)$$由上式求出$$\begin{gathered} \hat{\mu }=\frac{1}{N}\sum _{i=1}^N{x}_i(10) \\ {\hat{\sigma }}^2=\frac{1}{N}\sum _{i=1}^N(x_i-\hat{\mu }{)}^2(11) \end{gathered}$$$\hat{\mu }$为样本均值，$\hat{\sigma }$为样本方差。

1.2 多维高斯分布

1.2.1 多维高斯分布数学表达式

$$p(x)=\frac{1}{(2\pi {)}^{D/2}{|\sum |}^{1/2}}exp\left\{-\frac{1}{2}(x-\mu {)}^T\begin{array}{c}{\sum }^{-1}(x-\mu )\end{array}\right\}(12)$$其中D为变量维数，x为变量向量，$\mu$为期望向量，$\sum$为方差矩阵，$|\sum |$为方差矩阵行列式。协方差矩阵是对称矩阵其中对角线上为方差，非对角线为变量相关性。

1.2.2 多维高斯分布参数求解

\qquad 方法与上述一维求解方法相同，参数求解为：
$$\begin{gathered} \hat{\mu }=\frac{1}{N}\sum _{i=1}^N{x}_i(13) \\ {\hat{\sigma }}^2=\frac{1}{N}\sum _{i=1}^N(x_i-\hat{\mu })(x_i-\hat{\mu }{)}^T(14) \end{gathered}$$

1.3 混合高斯模型

\qquad 混合高斯模型可以看作不同参数的高斯模型的加权求和，表达式如下：
$$p(x)=\sum _{k=1}^K{w}_k{g}_k(x|{\mu }_k,\begin{array}{c}{\sum }_k\end{array})(15)$$$g_k$是期望为${\mu }_k$，方差为$\begin{array}{c}{\sum }_k\end{array}$的高斯模型。$w_k$为加权值，$w_k$>0,${\sum }_{k=1}^K{w}_k=1$(保证混合高斯模型的密度函数积分为1)。理论上可以表示任意形状的高斯分布，但相较于单纯高斯分布其具有更多的参数，求解参数变得困难，混合高斯分布不能求出解析解，犯错的概率增大。

1.3.1 求解混合高斯参数及其权重（EM算法）

\qquad 与1维高斯参数求解方法相同，列出最大似然函数化简可得：
$$\hat{\mu },\hat{\sigma }=arg\underset{\mu ,\sigma }{\max }\sum _{i=1}^N\ln \left\{w_k\sum _{k=1}^K{g}_k(x_i|{\mu }_k,\begin{array}{c}{\sum }_k\end{array})\right\}(16)$$由方程可以看出不能解析化简该方程即不能求出解析解(是指通过严格的公式所求得的解。即包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。给出解的具体函数形式，从解的表达式中就可以算出任何对应值。)。本例给定$w_k$。
\qquad 其求解过程类似许多的非凸问题，具有许多次优解称为局部最小值。
$$g_k(x)=\frac{1}{(2\pi {)}^{D/2}{|\begin{array}{c}{\sum }_k\end{array}|}^{1/2}}exp\left\{-\frac{1}{2}(x-{\mu }_k{)}^T\begin{array}{c}{\sum }_k^{-1}(x-{\mu }_k)\end{array}\right\}(17)$$
EM算法步骤：
\qquad 1.设置期望$\mu$和方差$\sigma$的初始值。
\qquad 2.设置第k个高斯模型的第i个数据点的潜变量为 (E-step):
$$z_k^i=\frac{g_k(x_i|{\mu }_k,\begin{array}{c}{\sum }_k\end{array})}{\begin{array}{c}{\sum }_{k=1}^K{g}_k(x_i|{\mu }_k,\begin{array}{c}{\sum }_k\end{array}\end{array})}(18)$$$z_k^i$可以看作数据i是由第k个高斯模型生成的概率。
\qquad 3.参数估计值为 (M-step) ：
$$\begin{gathered} {\hat{\mu }}_k=\frac{1}{z_k}\sum _{i=1}^N{z}_k^i{x}_i(19) \\ \begin{array}{c}{\hat{\sum }}_k\end{array}=\frac{1}{z_k}\sum _{i=1}^N{z}_k^i(x_i-{\hat{\mu }}_k)(x_i-{\hat{\mu }}_k{)}^T(20) \\ {z}_k=\begin{array}{c}{\sum }_{i=1}^N{z}_k^i\end{array}(21) \end{gathered}$$ \qquad 4. 循环步骤2和步骤3，直到${\hat{\mu }}_k$,$\begin{array}{c}{\hat{\sum }}_k\end{array}$变化很小即收敛到局部最优值上。

1.3.2 EM算法的一般化应用

\qquad EM算法看作是对目标函数下界的最大化过程。函数表达式为：
$$arg\underset{\theta }{\max }\sum _i\ln p(x_i|\theta )\theta :所有参数(22)$$所求就是下文中的G
\qquad EM算法的先验知识
$\bullet$Jensen’s不等式：设f(x)是凸函数得
$$f(\sum a_i{x}_i)\le \sum a_{i}f(x_i)(\sum a_i=1,a_i\ge 0)(23)$$ \qquad 由处理的函数为对数函数，对数函数是凹函数得
$$ln(\sum a_i{p}_i)\ge \sum a_{i}ln{p}_i(\sum a_i=1,a_i\ge 0)(24)$$因此，可以使用Jensen不等式来作为一个下界。
$\bullet$引入潜变量z
$$p(X|\theta )=\sum _{Z}p(X,Z|\theta )(25)$$潜变量z不能确切知道，对隐变量取边缘概率。
\qquad 获取如上所示的下界
$$\begin{gathered} lnp(X|\theta )=ln\sum _{Z}p(X,Z|\theta )(似然函数) \\ =ln\sum _{Z}q(Z)\frac{p(X,Z|\theta )}{q(Z)}\ge \sum _{Z}q(Z)ln\frac{p(X,Z|\theta )}{q(Z)}(下界)(26) \end{gathered}$$$q(Z)$是由$\theta$确定的，是关于$Z$的概率分布密度函数。
$\bullet$EM步骤：
\qquad （1）由上式:$$(F)lnp(X|\theta )\ge \sum _{Z}q(Z)ln\frac{p(X,Z|\theta )}{q(Z)}(G)(27)$$ \qquad 给定初始${\theta }_0$同时给定下界G，使$G(\theta |{\theta }_0)$与$F(\theta )$具有局部相似性。
\qquad （2）由求参数的最大似然估计，由给定的G求出更好的参数${\theta }_1$，由${\theta }_1$重新确定下界G，返回步骤1。
\qquad 直到参数收敛到一个局部最优值，求出对应$\theta$。