机器学习数学公式推导之降维

P22 (系列五) 降维1-背景 

本文参考 B站UP: shuhuai008 🌹🌹

降维

我们知道，解决过拟合的问题除了正则化和添加数据之外，降维就是最好的方法。降维的思路来源于维度灾难的问题，我们知道 $n$ 维球的体积为：
$$C{R}^n$$
那么在球体积与边长为 $2R$ 的超立方体比值为：
$$\underset{n\to 0}{\lim }\frac{C{R}^n}{2^n{R}^n}=0$$

这就是所谓的维度灾难，在高维数据中，主要样本都分布在立方体的边缘，所以数据集更加稀疏。

降维的算法分为：

1. 直接降维，特征选择
2. 线性降维，PCA，MDS等
3. 分线性，流形包括 Isomap，LLE 等

P23  (系列五)  降维2-样本均值 & 样本方差矩阵

D a t a : X = { x 1 , x 2 … … x N } N x p T = [ x 1 T x 2 T . . . x N T ] = [ x 11 x 12 ⋯ x 1 p x 21 x 22 ⋯ x 2 p ⋮ ⋱ ⋮ x n 1 ⋯ x n p ] N x p X i 属于 R P i = 1 , 2 … … N Data: X= \left\{ {x_1,x_2……x_N}\right\}_{Nxp}^{T}= \begin{bmatrix} x_1^T \\ x_2^T \\ ... \\ x_N^T \end{bmatrix} =\begin{bmatrix} x_{11} & x_{12} \cdots & x_{1p} \\ x_{21} & x_{22} \cdots & x_{2p}\\ \vdots & \ddots & \vdots \\ x_{n1} & \cdots & x_{np} \end{bmatrix}_{N x p}\\ X_i属于\mathbb{R}^P \\ i=1,2……N Data:X={x1​,x2​……xN​}NxpT​= ​x1T​x2T​...xNT​​ ​= ​x11​x21​⋮xn1​​x12​⋯x22​⋯⋱⋯​x1p​x2p​⋮xnp​​ ​Nxp​Xi​属于RPi=1,2……N

为了方便，我们首先将协方差矩阵（数据集）写成中心化的形式：
$$\begin{array}{rl}S& =\frac{1}{N}\sum _{i=1}^N(x_i-\overline{x})(x_i-\overline{x}{)}^T\\ & =\frac{1}{N}(x_1-\overline{x},x_2-\overline{x},\cdots ,x_N-\overline{x})(x_1-\overline{x},x_2-\overline{x},\cdots ,x_N-\overline{x}{)}^T\\ & =\frac{1}{N}(X^T-\frac{1}{N}{X}^T{\mathbb{I}}_{N1}{\mathbb{I}}_{N1}^T)(X^T-\frac{1}{N}{X}^T{\mathbb{I}}_{N1}{\mathbb{I}}_{N1}^T{)}^T\\ & =\frac{1}{N}{X}^T(E_N-\frac{1}{N}{\mathbb{I}}_{N1}{\mathbb{I}}_{1N})(E_N-\frac{1}{N}{\mathbb{I}}_{N1}{\mathbb{I}}_{1N}{)}^{T}X\\ & =\frac{1}{N}{X}^T{H}_N{H}_N^{T}X\\ & =\frac{1}{N}{X}^T{H}_N{H}_{N}X=\frac{1}{N}{X}^{T}HX\end{array}$$
这个式子利用了中心矩阵 $ H$​的对称性，这也是一个投影矩阵。

P24（系列五） 降维3-PCA-最大投影方差

线性降维-主成分分析 PCA

$$\begin{gathered} Mean:\overline{x}=\frac{1}{N}\sum _{i=1}^N{x}_i=\frac{1}{N}{X}^T{\mathbb{I}}_N \\ Covariance:S=\frac{1}{N}\sum _{i=1}^N(x_i-\overline{x})(x_i-\overline{x}{)}^T \\ =\frac{1}{N}{X}^{T}HX \end{gathered}$$

一个中心：原始特征重构

两个基本点：最大投影方差，最小重构距离

• x在u1上的投影。

损失函数

主成分分析中，我们的基本想法是将所有数据投影到一个字空间中，从而达到降维的目标，为了寻找这个子空间，我们基本想法是：

1. 所有数据在子空间中更为分散
2. 损失的信息最小，即：在补空间的分量少
3. 指向量维度改变，而是只选取u1-uq这q个向量作为基，删掉uq+1到$u_p$​,这样这q个p维向量所张成的线性空间维度
4. 关于重构向量和原始向量的维度问题

P25 (系列五)降维4-PCA-最小重构代价

原来的数据很有可能各个维度之间是相关的，于是我们希望找到一组 $p$ 个新的线性无关的单位基 $u_i$，降维就是取其中的 $q$ 个基。于是对于一个样本 $x_i$，经过这个坐标变换后(开始重构)：
$$\widehat{x_i}=\sum _{i=1}^p(u_i^T{x}_i)u_i=\sum _{i=1}^q(u_i^T{x}_i)u_i+\sum _{i=q+1}^p(u_i^T{x}_i)u_i$$
对于数据集来说，我们首先将其中心化然后再去上面的式子的第一项，并使用其系数的平方平均作为损失函数并最大化：

$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^q((x_i-\overline{x}{)}^T{u}_j{)}^2\\ & =\sum _{j=1}^q{u}_j^{T}S{u}_j,s.t.u_j^T{u}_j=1\end{array}$$
由于每个基都是线性无关的，于是每一个 $u_j$ 的求解可以分别进行，使用拉格朗日乘子法：
$${\mathrm{argmax}}_{u_j}L(u_j,\lambda )={\mathrm{argmax}}_{u_j}{u}_j^{T}S{u}_j+\lambda (1-u_j^T{u}_j)$$
于是：
$$S{u}_j=\lambda u_j$$
可见，我们需要的基就是协方差矩阵的本征矢。损失函数最大取在本征值前 $q$ 个最大值。

下面看其损失的信息最少这个条件，同样适用系数的平方平均作为损失函数，并最小化：
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N\sum _{j=q+1}^p((x_i-\overline{x}{)}^T{u}_j{)}^2\\ & =\sum _{j=q+1}^p{u}_j^{T}S{u}_j,s.t.u_j^T{u}_j=1\end{array}$$
同样的：
$${\mathrm{argmin}}_{u_j}L(u_j,\lambda )={\mathrm{argmin}}_{u_j}{u}_j^{T}S{u}_j+\lambda (1-u_j^T{u}_j)$$
损失函数最小取在本征值剩下的个最小的几个值。数据集的协方差矩阵可以写成 $S=U\Lambda U^T$​，直接对这个表达式当然可以得到本征矢。