〖机器学习白板推导1〗样本均值&样本方差&PCA！

〖机器学习白板推导1〗样本均值&样本方差&PCA！

• 本文整理自b站大神【机器学习】【白板推导系列】
• 首先假设样本集 ${\mathbf{X}}_{N\times p}=({\mathbf{x}}_1,\dots ,{\mathbf{x}}_n{)}^{\top }$，其中 $N$ 为样本个数，$p$ 为样本维度。

一. 样本均值

• 样本均值 $\bar{\mathbf{x}}$ 为：
  $$\bar{\mathbf{x}}=\frac{1}{N}\sum _{i=1}^N{x}_i=\frac{1}{N}({\mathbf{x}}_1,\dots ,{\mathbf{x}}_N)(1,\dots ,1{)}^{\top }=\frac{1}{N}{\mathbf{X}}^{\top }\mathbf{I}\text{\hspace{1em}(1)}$$ 其中：$\mathbf{I}=(1,\dots ,1{)}_{N\times 1}^{\top }$ 为列向量。

二. 样本方差

• 样本方差 $\mathbf{S}$ 为：
  $$\begin{array}{rl}\mathbf{S}& =\frac{1}{N}\sum _{i=1}^N\left({\mathbf{x}}_i-\bar{\mathbf{x}}\right){\left({\mathbf{x}}_i-\bar{\mathbf{x}}\right)}^{\top }\\ & =\frac{1}{N}\left({\mathbf{x}}_1-\bar{\mathbf{x}},\dots ,{\mathbf{x}}_N-\bar{\mathbf{x}}\right){\left({\mathbf{x}}_1-\bar{\mathbf{x}},\dots ,{\mathbf{x}}_N-\bar{\mathbf{x}}\right)}^{\top }\\ & =\frac{1}{N}\left[\left({\mathbf{x}}_1,\dots ,{\mathbf{x}}_N\right)-\left(\bar{\mathbf{x}},\dots ,\bar{\mathbf{x}}\right)\right]{\left[\left({\mathbf{x}}_1,\dots ,{\mathbf{x}}_N\right)-\left(\bar{\mathbf{x}},\dots ,\bar{\mathbf{x}}\right)\right]}^{\top }\\ & =\frac{1}{N}\left({\mathbf{X}}^{\top }-\bar{\mathbf{x}}\left(1,\dots ,1\right)\right){\left({\mathbf{X}}^{\top }-\bar{\mathbf{x}}\left(1,\dots ,1\right)\right)}^{\top }\\ & =\frac{1}{N}\left({\mathbf{X}}^{\top }-\bar{\mathbf{x}}{\mathbf{I}}^{\top }\right){\left({\mathbf{X}}^{\top }-\bar{\mathbf{x}}{\mathbf{I}}^{\top }\right)}^{\top }\end{array}\text{\hspace{1em}(2)}$$ 把样本均值带入可以得到：
  $$\begin{array}{rl}\mathbf{S}& =\frac{1}{N}\left({\mathbf{X}}^{\top }-\frac{1}{N}{\mathbf{X}}^{\top }\mathbf{I}{\mathbf{I}}^{\top }\right){\left({\mathbf{X}}^{\top }-\frac{1}{N}{\mathbf{X}}^{\top }\mathbf{I}{\mathbf{I}}^{\top }\right)}^{\top }\\ & =\frac{1}{N}\left[{\mathbf{X}}^{\top }\left(\mathbf{E}-\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }\right)\right]\left[{\mathbf{X}}^{\top }{\left(\mathbf{E}-\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }\right)}^{\top }\right]\end{array}\text{\hspace{1em}(3)}$$ 这里令 ${\mathbf{H}}_{N\times N}=\mathbf{E}-\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }$，$\mathbf{H}$ 称作中心矩阵。

三. 中心矩阵的性质

• 中心矩阵 $\mathbf{H}$ 为对称矩阵：
  $$\mathbf{H}=\mathbf{E}-\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }={\mathbf{H}}^{\top }\text{\hspace{1em}(4)}$$

• 中心矩阵 $\mathbf{H}$ 为对称矩阵：
  $$\begin{array}{rl}{\mathbf{H}}^2={\mathbf{H}}^{\top }\mathbf{H}=\mathbf{H}\mathbf{H}& =\left(\mathbf{E}-\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }\right)\left(\mathbf{E}-\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }\right)\\ & =\mathbf{E}-\frac{2}{N}\mathbf{I}{\mathbf{I}}^{\top }+\frac{1}{N^2}\mathbf{I}{\mathbf{I}}^{\top }\mathbf{I}{\mathbf{I}}^{\top }\end{array}\text{\hspace{1em}(5)}$$ 这里 ${\mathbf{I}}^{\top }\mathbf{I}=N$，所以等式 $(5)$ 可以化简为：
  $$\begin{array}{rl}{\mathbf{H}}^2& =\mathbf{E}-\frac{2}{N}\mathbf{I}{\mathbf{I}}^{\top }+\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }\\ & =\mathbf{E}-\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }\\ & =\mathbf{H}\end{array}\text{\hspace{1em}(6)}$$ 也就是 ${\mathbf{H}}^n=\mathbf{H}$。

• 带入中心矩阵之后，样本方差 $\mathbf{S}$ 为：
  $$\begin{array}{rl}\mathbf{S}& =\frac{1}{N}\left[{\mathbf{X}}^{\top }\left(\mathbf{E}-\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }\right)\right]\left[{\mathbf{X}}^{\top }{\left(\mathbf{E}-\frac{1}{N}\mathbf{I}{\mathbf{I}}^{\top }\right)}^{\top }\right]\\ & =\frac{1}{N}{\mathbf{X}}^{\top }\mathbf{H}{\mathbf{H}}^{\top }\mathbf{X}\\ & =\frac{1}{N}{\mathbf{X}}^{\top }\mathbf{H}\mathbf{X}\end{array}\text{\hspace{1em}(7)}$$

四. 协方差矩阵和散度矩阵关系

• 散度矩阵 ${\mathbf{S}}_1$ 为：
  $${\mathbf{S}}_1=\sum _{i=1}^N\left({\mathbf{x}}_i-\mathbf{m}\right){\left({\mathbf{x}}_i-\mathbf{m}\right)}^{\top }\text{\hspace{1em}(8)}$$ 其中 $\mathbf{m}$ 为样本均值(就是上面的$\bar{\mathbf{x}}$) ：$$\mathbf{m}=\frac{1}{N}\sum _{k=1}^N{\mathbf{x}}_i=\frac{1}{N}{\mathbf{X}}^{\top }\mathbf{I}\text{\hspace{1em}(9)}$$
• 我们可以发现协方差矩阵和散度矩阵相差前面一个$\frac{1}{N}$。

五. PCA降维(最大投影方差角度)

• 一个中心：对原始特征空间的重构(相关——>无关，原始特征空间中的特征之间有可能是相关的，比如用户特征：姓名，性别，年龄，学历，学位，我们可以发现学历和学位之间正相关，这2个属性之间就是相关性的，对这些特征空间进行重构，使其能够变成一组相互正交(线性无关的基))。
• 两个基本点：①. 最大投影方差；②. 最小重构距离(这2个其实是同一个意思，都是为同一个中心服务的，相当于2个角度)

• 拿到数据之后首先进行中心化(减去均值，中心化之后数据均值为0)，就是做一个平移，方便计算。

• 对于 ${\mathbf{x}}_i$ 这个样本，中心化之后为 ${\mathbf{x}}_i-\bar{\mathbf{x}}$，此时它在${\mathbf{u}}_1$ 这个方向上的投影为：
  $$\begin{array}{rl}& J=({\mathbf{x}}_i-\bar{\mathbf{x}}{)}^{\top }{\mathbf{u}}_1\\ & s.t.\Vert {\mathbf{u}}_1\Vert =1\end{array}\text{\hspace{1em}(10)}$$

• 对于 $N$ 个样本点，投影方差(数)为：
  $$\begin{array}{rl}& J=\frac{1}{N}\sum _{i=1}^N{\left(({\mathbf{x}}_i-\bar{\mathbf{x}}{)}^{\top }{\mathbf{u}}_1\right)}^2\\ & s.t.{\mathbf{u}}_1^{\top }{\mathbf{u}}_1=1\end{array}\text{\hspace{1em}(11)}$$

• 其中 $J$ 为：
  $$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N{\mathbf{u}}_1^T\left({\mathbf{x}}_i-\bar{\mathbf{x}}\right)\cdot {\left({\mathbf{x}}_i-\bar{\mathbf{x}}\right)}^T{\mathbf{u}}_1\\ & ={\mathbf{u}}_1^T\left[\frac{1}{N}\sum _{i=1}^N\left({\mathbf{x}}_i-\bar{\mathbf{x}}\right)\cdot {\left({\mathbf{x}}_i-\bar{\mathbf{x}}\right)}^T\right]{\mathbf{u}}_1\\ & ={\mathbf{u}}_1^T\mathbf{S}{\mathbf{u}}_1\end{array}\text{\hspace{1em}(12)}$$

• 我们要求的就是一个最大投方差，其实就是一个带约束的优化问题，就是要找到这个方向 ${\mathbf{u}}_1$：
  $$\{\begin{array}{l}{\hat{\mathbf{u}}}_1=\mathrm{argmax}{\mathbf{u}}_1^{\top }\mathbf{S}{\mathbf{u}}_1\\ s.t.{\mathbf{u}}_1^{\top }{\mathbf{u}}_1=1\end{array}\text{\hspace{1em}(13)}$$

• 求解使用拉格朗日乘子法：
  $$\mathcal{L}\left({\mathbf{u}}_1,\lambda \right)={\mathbf{u}}_1^{\top }\mathbf{S}{\mathbf{u}}_1+\lambda \left(1-{\mathbf{u}}_1^{\top }{\mathbf{u}}_1\right)\text{\hspace{1em}(14)}$$

• 求偏导可以得到：
  $$\frac{\partial \mathcal{L}}{\partial {\mathbf{u}}_1}=2\mathbf{S}{\mathbf{u}}_1-2\lambda {\mathbf{u}}_1\text{\hspace{1em}(15)}$$

• 令偏导数等于0可以得到：
  $$\mathbf{S}{\mathbf{u}}_1=\lambda {\mathbf{u}}_1\text{\hspace{1em}(16)}$$

• 到这里已经求解完毕，可以明显看出 $\lambda$ 就是 $\mathbf{S}$ 的特征值，${\mathbf{u}}_1$ 就是 $\mathbf{S}$ 的特征向量。

六. PCA降维(最小重构距离角度)