机器学习-白板推导 P5_6 (P-PCA)

最新推荐文章于 2022-02-13 20:43:01 发布

无知书童

最新推荐文章于 2022-02-13 20:43:01 发布

阅读量648

点赞数

分类专栏： # 机器学习白板推导

本文链接：https://blog.csdn.net/qq_28404829/article/details/100661955

版权

机器学习白板推导专栏收录该内容

25 篇文章 1 订阅

订阅专栏

机器学习-白板推导 P5_6

P-PCA

P-PCA

$\in R^p \quad z \in R^q \quad q<p$

$x,observe\;data$
$z,latent\;variable$

降维的目的是从 $p$ 维降到 $q$ 维。

设 $z$ 的先验：
$\sim N(0_q,I_q)$
$\mu + \epsilon$
$\epsilon \sim N(0,\sigma^2I_p)$

$\sigma^2 I_p= \begin{bmatrix}\sigma^2& 0 &...& 0 \\ 0 & \sigma^2&...& 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 &...&\sigma^2 \\ \end{bmatrix} \quad 各向同性$

$Linear\;Gaussion\;Model$

$\begin{cases} Inference, & \text {$p(z|x)$} \\ Learing, & \text{$w,\mu,\sigma^2 \rightarrow EM$} \end{cases}$

在这里插入图片描述

$\begin{cases} z \sim N(0,I) \\ x = wz + \mu + \epsilon \\ \epsilon \sim N(0,\sigma^2I) \\ \epsilon \bot z \\ E[x|z]=E[wz+\mu+\epsilon]=wz+\mu\\ Var[x|z]=Var[wz+\mu+\epsilon]=\sigma^2I \\ x|z \sim N(wz+u,\sigma^2I) \end{cases}$
$E[x]=E[wz+\mu+\epsilon]=E[wz+\mu]+E[\epsilon]=\mu$
$Var[x]=Var[wz+\mu+\epsilon]=Var[wz]+Var[\epsilon]=wIw^T+\sigma^2I=ww^T+\sigma^2I$
$\sim N(\mu,ww^T+\sigma^2)$

之前的公式：
$\begin{bmatrix} x_{a} \\ x_{b} \end{bmatrix} \qquad \mu= \begin{bmatrix} \mu_{0} \\ \mu_{1} \end{bmatrix} \qquad \Sigma= \begin{bmatrix} \Sigma_{aa} & \Sigma_{ab} \\ \Sigma_{ba} & \Sigma_{bb} \end{bmatrix}$
已知： $\sim N(\mu, \Sigma)$

$x_{b.a}=x_b-\Sigma_{ba}\Sigma_{aa}^{-1}x_a$
$\mu_{b.a}=\mu_b-\Sigma_{ba}\Sigma_{aa}^{-1}\mu_a$
$\Sigma_{bb.a}=\Sigma_{bb}-\Sigma_{ba}\Sigma_{aa}^{-1}\Sigma_{ab}$ $\qquad$ schur complementary

$x_{b}=x_{b.a}+\Sigma_{ba}\Sigma_{aa}^{-1}x_a$

$E[x_b|x_a]=\mu_{b.a}+\Sigma_{ba}\Sigma_{aa}^{-1}x_a$
$Var[x_b|x_a]=Var[x_{b.a}]=\Sigma_{bb.a}$

$x_b|x_a \sim N(\mu_{b.a}+\Sigma_{ba}\Sigma_{aa}^{-1}x_a,\Sigma_{bb.a})$

推导：
$\begin{bmatrix} x \\ z \end{bmatrix} \sim \left( \begin{bmatrix} \mu \\ 0 \end{bmatrix} \begin{bmatrix} O & \Delta \\ \Delta^T & I \end{bmatrix} \right)$

$\begin{aligned} \Delta &=Cov(x,z) \\ &=E[(x-\mu)(z-0)] \\ &=E[(x-\mu)\Sigma^T] \\ &=E[(wz+\epsilon )\Sigma^T] \\ &=E[wz\Sigma^T + \epsilon\Sigma^T ] \\ &=wE[z\Sigma^T] +E[\epsilon]\cdot E[\Sigma^T] \\ &=w\cdot I+0 \\ &=w \end{aligned}$

$\begin{bmatrix} x \\ z \end{bmatrix} \sim \left( \begin{bmatrix} \mu \\ 0 \end{bmatrix} \begin{bmatrix} O & \Delta \\ \Delta^T & I \end{bmatrix} \right) = \left( \begin{bmatrix} \mu \\ 0 \end{bmatrix} \begin{bmatrix} ww^T+\sigma^2I & w \\ w^T & I \end{bmatrix} \right)$