数据挖掘与分析课程笔记（Chapter 7）

数据挖掘与分析课程笔记

• 参考教材：Data Mining and Analysis : MOHAMMED J.ZAKI, WAGNER MEIRA JR.

文章目录

0. 数据挖掘与分析课程笔记（目录）
1. 数据挖掘与分析课程笔记（Chapter 1）
2. 数据挖掘与分析课程笔记（Chapter 2）
3. 数据挖掘与分析课程笔记（Chapter 5）
4. 数据挖掘与分析课程笔记（Chapter 7）
5. 数据挖掘与分析课程笔记（Chapter 14）
6. 数据挖掘与分析课程笔记（Chapter 15）
7. 数据挖掘与分析课程笔记（Chapter 20）
8. 数据挖掘与分析课程笔记（Chapter 21）

---

---

Chapter 7：降维

PCA：主元分析

7.1 背景

$$\mathbf{D}=\left(\begin{array}{ccccc}& X_1& X_2& \cdots & X_d\\ {\mathbf{x}}_1& x_{11}& x_{12}& \cdots & x_{1d}\\ {\mathbf{x}}_2& x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ {\mathbf{x}}_n& x_{n1}& x_{n2}& \cdots & x_{nd}\end{array}\right)$$

对象：${\mathbf{x}}_1^T,\cdots ,{\mathbf{x}}_n^T\in {\mathbb{R}}^d$，$\forall \mathbf{x}\in {\mathbb{R}}^d,$ 设 $\mathbf{x}=(x_1,\cdots ,x_d{)}^T=\sum _{i=1}^d{x}_i{\mathbf{e}}_i$

其中，${\mathbf{e}}_i=(0,\cdots ,1,\cdots ,0{)}^T\in {\mathbb{R}}^d$，i-坐标

设另有单位正交基 { u } i = 1 n \{\mathbf{u}\}_{i=1}^n {u}i=1n​，$\mathbf{x}=\sum _{i=1}^d{a}_i{\mathbf{u}}_i,a_i\in \mathbb{R}$，${\mathbf{u}}_i^T{\mathbf{u}}_j=\{\begin{array}{c}1,i=j\\ 0,i\ne j\end{array}$

$\forall r:1\le r\le d,\mathbf{x}=\underset{\text{投影}}{\underbrace{a_1{\mathbf{u}}_1+\cdots +a_r{\mathbf{u}}_r}}+\underset{\text{误差}}{\underbrace{a_{r+1}{\mathbf{u}}_{r+1}+\cdots +a_d{\mathbf{u}}_d}}$

前 $r$ 项是投影，后面是投影误差。

目标：对于给定 $D$，寻找最优 { u } i = 1 n \{\mathbf{u}\}_{i=1}^n {u}i=1n​，使得 $D$ 在其前 $r$ 维子空间的投影是对 $D$ 的“最佳近似”，即投影之后“误差最小”。

7.2 主元分析：

7.2.1 最佳直线近似

（一阶主元分析）（r=1）

目标：寻找 ${\mathbf{u}}_1$，不妨记为 $\mathbf{u}=(u_1,\cdots ,u_d{)}^T$。

假设：$||\mathbf{u}||={\mathbf{u}}^T\mathbf{u}=1$，$\hat{\mathbf{\mu }}=\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i=0,\in {\mathbb{R}}^d$

$\forall {\mathbf{x}}_i(i=1,\cdots ,n)$，${\mathbf{x}}_i$ 沿 $\mathbf{u}$ 方向投影是：
$${\mathbf{x}}_i^{\prime }=\left(\frac{{\mathbf{u}}^T{\mathbf{x}}_i}{{\mathbf{u}}^T\mathbf{u}}\right)\mathbf{u}=\left({\mathbf{u}}^T{\mathbf{x}}_i\right)\mathbf{u}=a_i\mathbf{u},a_i={\mathbf{u}}^T{\mathbf{x}}_i$$
$\hat{\mathbf{\mu }}=0\Rightarrow$ $\hat{\mathbf{\mu }}$ 在 $\mathbf{u}$ 上投影是0；${\mathbf{x}}_1^{\prime },\cdots ,{\mathbf{x}}_n^{\prime }$ 的平均值为0 。

$Proj(mean(D))=meanProj(D)$

考察 ${\mathbf{x}}_1^{\prime },\cdots ,{\mathbf{x}}_n^{\prime }$ 沿 $\mathbf{u}$ 方向的样本方差：
$$\begin{array}{rl}{\sigma }_{\mathbf{u}}^2& =\frac{1}{n}\sum _{i=1}^n{\left(a_i-{\mu }_{\mathbf{u}}\right)}^2\\ & =\frac{1}{n}\sum _{i=1}^n{\left({\mathbf{u}}^T{\mathbf{x}}_i\right)}^2\\ & =\frac{1}{n}\sum _{i=1}^n{\mathbf{u}}^T\left({\mathbf{x}}_i{\mathbf{x}}_i^T\right)\mathbf{u}\\ & ={\mathbf{u}}^T\left(\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i{\mathbf{x}}_i^T\right)\mathbf{u}\\ & ={\mathbf{u}}^T\mathbf{\Sigma u}\end{array}$$
$\mathbf{\Sigma }$ 是样本协方差矩阵。

目标：
$$\begin{array}{ll}\underset{\mathbf{u}}{\max }& {\mathbf{u}}^T\mathbf{\Sigma u}\\ \text{s.t}& {\mathbf{u}}^T\mathbf{u}-1=0\end{array}$$
应用 Lagrangian 乘数法：
$$\underset{\mathbf{u}}{\max }J(\mathbf{u})={\mathbf{u}}^T\Sigma \mathbf{u}-\lambda \left({\mathbf{u}}^T\mathbf{u}-1\right)$$
求偏导：
$$\begin{array}{rl}\frac{\partial }{\partial \mathbf{u}}J(\mathbf{u})& =0\\ \frac{\partial }{\partial \mathbf{u}}\left({\mathbf{u}}^T\mathbf{\Sigma u}-\lambda \left({\mathbf{u}}^T\mathbf{u}-1\right)\right)& =0\\ 2\mathbf{\Sigma u}-2\lambda \mathbf{u}& =0\\ \mathbf{\Sigma u}& =\lambda \mathbf{u}\end{array}$$
注意到：${\mathbf{u}}^T\mathbf{\Sigma u}={\mathbf{u}}^T\lambda \mathbf{u}=\lambda$

故优化问题的解 $\lambda$ 选取 $\mathbf{\Sigma }$ 最大特征值， $\mathbf{u}$ 选与 $\lambda$ 相应的单位特征向量。

问题：上述问题使得 ${\sigma }_{\mathbf{u}}^2$ 最大的 $\mathbf{u}$ 能否使投影误差最小？

定义平均平方误差（Minimum Squared Error，MSE）：
$$\begin{array}{rl}MSE(\mathbf{u})& =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{x}}_i-{\mathbf{x}}_i^{\prime }\Vert }^2\\ & =\frac{1}{n}\sum _{i=1}^n{\left({\mathbf{x}}_i-{\mathbf{x}}_i^{\prime }\right)}^T\left({\mathbf{x}}_i-{\mathbf{x}}_i^{\prime }\right)\\ & =\frac{1}{n}\sum _{i=1}^n\left({\Vert {\mathbf{x}}_i\Vert }^2-2{\mathbf{x}}_i^T{\mathbf{x}}_i^{\prime }+{\left({\mathbf{x}}_i^{\prime }\right)}^T{\mathbf{x}}_i^{\prime }\right)\\ & =\frac{1}{n}\sum _{i=1}^n\left({\Vert {\mathbf{x}}_i\Vert }^2-2{\mathbf{x}}_i^T({\mathbf{u}}^T{\mathbf{x}}_i)\mathbf{u}+{\left[({\mathbf{u}}^T{\mathbf{x}}_i)\mathbf{u}\right]}^T\left[({\mathbf{u}}^T{\mathbf{x}}_i)\mathbf{u}\right]\right)\\ & =\frac{1}{n}\sum _{i=1}^n\left({\Vert {\mathbf{x}}_i\Vert }^2-2({\mathbf{u}}^T{\mathbf{x}}_i){\mathbf{x}}_i^T\mathbf{u}+({\mathbf{u}}^T{\mathbf{x}}_i)({\mathbf{x}}_i^T\mathbf{u}){\mathbf{u}}^T\mathbf{u}\right)\\ & =\frac{1}{n}\sum _{i=1}^n\left({\Vert {\mathbf{x}}_i\Vert }^2-{\mathbf{u}}^T{\mathbf{x}}_i{\mathbf{x}}_i^T\mathbf{u}\right)\\ & =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{x}}_i\Vert }^2-{\mathbf{u}}^T\mathbf{\Sigma u}\\ & =var(D)-{\sigma }_{\mathbf{u}}^2\end{array}$$
上式表明：$var(D)={\sigma }_{\mathbf{u}}^2+MSE$

$\mathbf{u}$ 的几何意义：${\mathbb{R}}^d$ 中使得数据沿其方向投影后方差最大的同时，MSE 最小的直线方向。

$\mathbf{u}$ 被称为一阶主元（first principal component）

7.2.2 最佳2-维近似

（二阶主元分析：r=2）

假设 ${\mathbf{u}}_1$ 已经找到，即 $\mathbf{\Sigma }$ 的最大特征值对应的特征向量。

目标：寻找 ${\mathbf{u}}_2$ ，简记为 $\mathbf{v}$，使得：${\mathbf{v}}^T{\mathbf{u}}_1=0,{\mathbf{v}}^T\mathbf{v}=1$

考虑 ${\mathbf{x}}_i$ 沿 $\mathbf{v}$ 方向投影的方差：
$$\begin{array}{ll}\underset{\mathbf{u}}{\max }& {\sigma }_{\mathbf{v}}^2={\mathbf{v}}^T\mathbf{\Sigma v}\\ \text{s.t}& {\mathbf{v}}^T\mathbf{v}-1=0\\ & {\mathbf{v}}^T{\mathbf{u}}_1=0\end{array}$$
定义：$J(\mathbf{v})={\mathbf{v}}^T\mathbf{\Sigma v}-\alpha \left({\mathbf{v}}^T\mathbf{v}-1\right)-\beta \left({\mathbf{v}}^T{\mathbf{u}}_1-0\right)$

对 $\mathbf{v}$ 求偏导得：
$$2\Sigma \mathbf{v}-2\alpha \mathbf{v}-\beta {\mathbf{u}}_1=0$$
两边同乘 ${\mathbf{u}}_1^T$：
$$\begin{array}{rl}2{\mathbf{u}}_1^T\Sigma \mathbf{v}-2\alpha {\mathbf{u}}_1^T\mathbf{v}-\beta {\mathbf{u}}_1^T{\mathbf{u}}_1& =0\\ 2{\mathbf{u}}_1^T\Sigma \mathbf{v}-\beta & =0\\ 2{\mathbf{v}}^T\Sigma {\mathbf{u}}_1-\beta & =0\\ 2{\mathbf{v}}^T{\lambda }_1{\mathbf{u}}_1-\beta & =0\\ \beta & =0\end{array}$$
再代入到原式：
$$\begin{gathered} 2\Sigma \mathbf{v}-2\alpha \mathbf{v}=0 \\ \Sigma \mathbf{v}=\alpha \mathbf{v} \end{gathered}$$
故 $\mathbf{v}$ 也是 $\mathbf{\Sigma }$ 的特征向量。

${\sigma }_{\mathbf{v}}^2={\mathbf{v}}^T\mathbf{\Sigma v}=\alpha$，故 $\alpha$ 应取 $\mathbf{\Sigma }$ （第二大）的特征向量。

问题1：上述求得的 $\mathbf{v}$ （即 ${\mathbf{u}}_2$ ），与 ${\mathbf{u}}_1$ 一起考虑，能否使 $D$ 在 s p a n { u 1 , u 2 } span\{\mathbf{u}_1, \mathbf{u}_2 \} span{u1​,u2​} 上投影总方差最大？

设 ${\mathbf{x}}_i=\underset{投影}{\underbrace{a_{i1}{\mathbf{u}}_1+a_{i2}{\mathbf{u}}_2}}+\cdots$

则 ${\mathbf{x}}_i$ 在 s p a n { u 1 , u 2 } span\{\mathbf{u}_1, \mathbf{u}_2 \} span{u1​,u2​} 上投影坐标：${\mathbf{a}}_i=(a_{i1},a_{i2}{)}^T=({\mathbf{u}}_1^T{\mathbf{x}}_i,{\mathbf{u}}_2^T{\mathbf{x}}_i{)}^T$

令 ${\mathbf{U}}_2=\left(\begin{array}{cc}\mid & \mid \\ {\mathbf{u}}_1& {\mathbf{u}}_2\\ \mid & \mid \end{array}\right)$，则 ${\mathbf{a}}_i={\mathbf{U}}_2^T{\mathbf{x}}_i$

投影总方差为：
$$\begin{array}{rl}\mathrm{var}(\mathbf{A})& =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{a}}_i-0\Vert }^2\\ & =\frac{1}{n}\sum _{i=1}^n{\left({\mathbf{U}}_2^T{\mathbf{x}}_i\right)}^T\left({\mathbf{U}}_2^T{\mathbf{x}}_i\right)\\ & =\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i^T\left({\mathbf{U}}_2{\mathbf{U}}_2^T\right){\mathbf{x}}_i\\ & =\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i^T\left({\mathbf{u}}_1{\mathbf{u}}_1^T+{\mathbf{u}}_2{\mathbf{u}}_2^T\right){\mathbf{x}}_i\\ & ={\mathbf{u}}_1^T\mathbf{\Sigma }{\mathbf{u}}_1+{\mathbf{u}}_2^T\mathbf{\Sigma }{\mathbf{u}}_2\\ & ={\lambda }_1+{\lambda }_2\end{array}$$
问题2：平均平方误差是否最小？

其中，${\mathbf{x}}_i^{\prime }={\mathbf{U}}_2{\mathbf{U}}_2^T{\mathbf{x}}_i$
$$\begin{array}{rl}MSE& =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{x}}_i-{\mathbf{x}}_i^{\prime }\Vert }^2\\ & =\frac{1}{n}\sum _{i=1}^n{\Vert {\mathbf{x}}_i\Vert }^2-\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i^T\left({\mathbf{U}}_2{\mathbf{U}}_2^T\right){\mathbf{x}}_i\\ & =var(D)-{\lambda }_1-{\lambda }_2\end{array}$$
结论：

1. $\mathbf{\Sigma }$ 的前 $r$ 个特征值的和 ${\lambda }_1+\cdots +{\lambda }_r({\lambda }_1\ge \cdots \ge {\lambda }_r)$ 给出最大投影总方差；
2. $var(D)-\sum _{i=1}^r{\lambda }_i$ 给出最小MSE；
3. ${\lambda }_1,\cdots ,{\lambda }_r$ 相应的特征向量 ${\mathbf{u}}_1,\cdots {\mathbf{u}}_r$ 张成 $r$ - 阶主元。

7.2.3 推广

${\Sigma }_{d\times d}$ ，${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_d$，中心化

$\sum _{i=1}^r{\lambda }_i$：最大投影总方差；

$var(D)-\sum _{i=1}^r{\lambda }_i$：最小MSE

实践： 如何选取适当的 $r$，考虑比值 $\frac{\sum _{i=1}^r{\lambda }_i}{var(D)}$ 与给定阈值 $\alpha$ 比较

算法 7.1 PCA：

输入：$D$，$\alpha$

输出：$A$ (降维后)

1. $\mathbf{\mu }=\frac{1}{n}\sum _{i=1}^r{\mathbf{x}}_i$;
2. $\mathbf{Z}=\mathbf{D}-1\cdot {\mathbf{\mu }}^T$;
3. $\mathbf{\Sigma }=\frac{1}{n}({\mathbf{Z}}^T\mathbf{Z})$;
4. ${\lambda }_1\ge {\lambda }_2\ge \cdots {\lambda }_d$，$⟵\mathbf{\Sigma }$ 的特征值（降序排列）;
5. ${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_d$，$⟵\mathbf{\Sigma }$ 的特征向量（单位正交）；
6. 计算 $\frac{\sum _{i=1}^r{\lambda }_i}{var(D)}$，选取其比值超过 $\alpha$ 最小的 $r$；
7. ${\mathbf{U}}_r=({\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_r)$;
8. A = { a i ∣ a i = U r T x i , i = 1 , ⋯   , n } A=\{\mathbf{a}_i|\mathbf{a}_i=\mathbf{U}_r^T\mathbf{x}_i, i=1,\cdots,n\} A={ai​∣ai​=UrT​xi​,i=1,⋯,n}。

7.3 Kernel PCA：核主元分析

$\varphi :\mathcal{I}\to \mathcal{F}\subseteq {\mathbb{R}}^d$

$K:\mathcal{I}\times \mathcal{I}\to \mathbb{R}$

$K({\mathbf{x}}_i,{\mathbf{x}}_j)={\varphi }^T({\mathbf{x}}_i)\varphi ({\mathbf{x}}_j)$

已知：$\mathbf{K}=[K({\mathbf{x}}_i,{\mathbf{x}}_j){]}_{n\times n}$，${\mathbf{\Sigma }}_{\varphi }=\frac{1}{n}\sum _{i=1}^n\varphi ({\mathbf{x}}_i)\varphi ({\mathbf{x}}_i{)}^T$

对象：$\varphi ({\mathbf{x}}_1),\varphi ({\mathbf{x}}_2),\cdots ,\varphi ({\mathbf{x}}_n)\in {\mathbb{R}}^d$，假设 $\frac{1}{n}\sum _i^n\varphi ({\mathbf{x}}_i)=0$，$\mathbf{K}\to \hat{\mathbf{K}}$，已经中心化；

目标：$\mathbf{u},\lambda ,s.t.{\mathbf{\Sigma }}_{\varphi }\mathbf{u}=\lambda \mathbf{u}$
$$\begin{array}{rl}\frac{1}{n}\sum _{i=1}^n\varphi ({\mathbf{x}}_i)[\varphi ({\mathbf{x}}_i{)}^T\mathbf{u}]& =\lambda \mathbf{u}\\ \sum _{i=1}^n[\frac{\varphi ({\mathbf{x}}_i{)}^T\mathbf{u}}{n\lambda }]\varphi ({\mathbf{x}}_i)& =\mathbf{u}\end{array}$$
相同于所有数据线性组合。

令：$c_i=\frac{\varphi ({\mathbf{x}}_i{)}^T\mathbf{u}}{n\lambda }$，则 $\mathbf{u}=\sum _{i=1}^n{c}_i\varphi ({\mathbf{x}}_i)$。代入原式：
$$\begin{array}{rl}\left(\frac{1}{n}\sum _{i=1}^n\varphi \left({\mathbf{x}}_i\right)\varphi {\left({\mathbf{x}}_i\right)}^T\right)\left(\sum _{j=1}^n{c}_j\varphi \left({\mathbf{x}}_j\right)\right)& =\lambda \sum _{i=1}^n{c}_i\varphi \left({\mathbf{x}}_i\right)\\ \frac{1}{n}\sum _{i=1}^n\sum _{j=1}^n{c}_j\varphi \left({\mathbf{x}}_i\right)\varphi {\left({\mathbf{x}}_i\right)}^T\varphi \left({\mathbf{x}}_j\right)& =\lambda \sum _{i=1}^n{c}_i\varphi \left({\mathbf{x}}_i\right)\\ \sum _{i=1}^n\left(\varphi \left({\mathbf{x}}_i\right)\sum _{j=1}^n{c}_{j}K({\mathbf{x}}_i,{\mathbf{x}}_j)\right)& =n\lambda \sum _{i=1}^n{c}_i\varphi \left({\mathbf{x}}_i\right)\end{array}$$
注意，此处 $\mathbf{K}=\hat{\mathbf{K}}$ 已经中心化

对于 $\forall k(1\le k\le n)$，两边同时左乘 $\varphi ({\mathbf{x}}_k)$：
$$\begin{array}{rl}\sum _{i=1}^n\left({\varphi }^T({\mathbf{x}}_k)\varphi \left({\mathbf{x}}_i\right)\sum _{j=1}^n{c}_{j}K({\mathbf{x}}_i,{\mathbf{x}}_j)\right)& =n\lambda \sum _{i=1}^n{c}_i{\varphi }^T({\mathbf{x}}_k)\varphi \left({\mathbf{x}}_i\right)\\ \sum _{i=1}^n\left(K({\mathbf{x}}_k,{\mathbf{x}}_i)\sum _{j=1}^n{c}_{j}K({\mathbf{x}}_i,{\mathbf{x}}_j)\right)& =n\lambda \sum _{i=1}^n{c}_{i}K({\mathbf{x}}_k,{\mathbf{x}}_i)\end{array}$$
令 ${\mathbf{K}}_i={\left(K\left({\mathbf{x}}_i,{\mathbf{x}}_1\right),K\left({\mathbf{x}}_i,{\mathbf{x}}_2\right),\cdots ,K\left({\mathbf{x}}_i,{\mathbf{x}}_n\right)\right)}^T$ (核矩阵的第 $i$ 行，$\mathbf{K}=(\left[\begin{array}{c}{\mathbf{K}}_1^T\\ ⋮\\ {\mathbf{K}}_n^T\end{array}\right])$)，$\mathbf{c}=(c_1,c_2,\cdots ,c_n{)}^T$，则：
$$\begin{array}{rl}\sum _{i=1}^{n}K({\mathbf{x}}_k,{\mathbf{x}}_i){\mathbf{K}}_i^T\mathbf{c}& =n\lambda {\mathbf{K}}_k^T\mathbf{c},k=1,2,\cdots ,n\\ {\mathbf{K}}_k^T\left[\begin{array}{c}{\mathbf{K}}_1^T\\ ⋮\\ {\mathbf{K}}_n^T\end{array}\right]\mathbf{c}& =n\lambda {\mathbf{K}}_k^T\mathbf{c}\\ {\mathbf{K}}_k^T\mathbf{K}& =n\lambda {\mathbf{K}}_k^T\mathbf{c}\end{array}$$
即 ${\mathbf{K}}^2\mathbf{c}=n\lambda \mathbf{Kc}$

假设 ${\mathbf{K}}^{-1}$ 存在
$$\begin{array}{rl}{\mathbf{K}}^2\mathbf{c}& =n\lambda \mathbf{Kc}\\ \mathbf{Kc}& =n\lambda \mathbf{c}\\ \mathbf{Kc}& =\eta \mathbf{c},\eta =n\lambda \end{array}$$
结论：$\frac{{\eta }_1}{n}\ge \frac{{\eta }_2}{n}\ge \cdots \ge \frac{{\eta }_n}{n}$，给出在特征空间中 $\varphi ({\mathbf{x}}_1),\varphi ({\mathbf{x}}_2),\cdots ,\varphi ({\mathbf{x}}_n)$ 的投影方差：$\sum _{i=1}^r\frac{{\eta }_r}{n}$，其中 ${\eta }_1\ge {\eta }_2\cdots \ge {\eta }_n$ 是 $\mathbf{K}$ 的特征值。

问：可否计算出 $\varphi ({\mathbf{x}}_1),\varphi ({\mathbf{x}}_2),\cdots ,\varphi ({\mathbf{x}}_n)$ 在主元方向上的投影（即降维之后的数据）？

设 ${\mathbf{u}}_1,\cdots ,{\mathbf{u}}_d$ 是 ${\mathbf{\Sigma }}_{\varphi }$ 的特征向量，则 $\varphi ({\mathbf{x}}_j)=a_1{\mathbf{u}}_1+\cdots +a_d{\mathbf{u}}_d$，其中
$$\begin{array}{rl}{a}_k& =\varphi ({\mathbf{x}}_j{)}^T{\mathbf{u}}_k,k=1,2,\cdots ,d\\ & =\varphi ({\mathbf{x}}_j{)}^T\sum _{i=1}^n{c}_{ki}\varphi ({\mathbf{x}}_i)\\ & =\sum _{i=1}^n{c}_{ki}\varphi ({\mathbf{x}}_j{)}^T\varphi ({\mathbf{x}}_i)\\ & =\sum _{i=1}^n{c}_{ki}K({\mathbf{x}}_j,{\mathbf{x}}_i)\end{array}$$

算法7.2：核主元分析（$\mathcal{F}\subseteq {\mathbb{R}}^d$）

输入：$K$，$\alpha$

输出：$A$ （降维后数据的投影坐标）

1. $\hat{\mathbf{K}}:=\left(\mathbf{I}-\frac{1}{n}{1}_{n\times n}\right)\mathbf{K}\left(\mathbf{I}-\frac{1}{n}{1}_{n\times n}\right)$

2. ${\eta }_1,{\eta }_2,\cdots {\eta }_d$ $⟵\mathbf{K}$ 的特征值，只取前 $d$ 个

3. ${\mathbf{c}}_1,{\mathbf{c}}_2,\cdots ,{\mathbf{c}}_d$$⟵\mathbf{K}$ 的特征向量（单位化，正交）

4. ${\mathbf{c}}_i\leftarrow \frac{1}{\sqrt{{\eta }_i}}\cdot {\mathbf{c}}_i,i=1,\cdots ,d$

5. 选取最小的 $r$ 使得：$\frac{\sum _{i=1}^r\frac{{\eta }_i}{n}}{\sum _{i=1}^d\frac{{\eta }_i}{n}}\ge \alpha$

6. ${\mathbf{C}}_r=({\mathbf{c}}_1,{\mathbf{c}}_2,\cdots ,{\mathbf{c}}_r)$

7. A = { a i ∣ a i = C r T K i , i = 1 , ⋯   , n } A=\{\mathbf{a}_i|\mathbf{a}_i=\mathbf{C}_r^T\mathbf{K}_i, i=1,\cdots,n\} A={ai​∣ai​=CrT​Ki​,i=1,⋯,n}

---