机器学习：数据降维

最新推荐文章于 2024-10-13 17:37:28 发布

Y__悠

最新推荐文章于 2024-10-13 17:37:28 发布

阅读量829

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/u010120820/article/details/80038080

版权

本文介绍了机器学习中的两种数据降维方法——主成分分析(PCA)和奇异值分解(SVD)。PCA通过特征值分解寻找数据的主要成分，确保在低维空间中样本的重构误差最小和最大化可分性。而SVD提供了一种矩阵分解方式，同样可用于降维。文章详细阐述了PCA的优化问题和算法步骤，并指出PCA降维的两个关键准则：最近重构性和最大可分性的等价性。

摘要由CSDN通过智能技术生成

1、主成分分析（Principle Component Analysis，PCA）

PCA原理

主成分分析是最常用的一种降维方法，为了便于维度变换，作出如下假设：

1）样本数据是 $n$ 维的。

2）原始坐标系为：由标准正交基向量 $\left \{ \left. \boldsymbol{\vec{i}}_{1},\boldsymbol{\vec{i}}_{2},\cdots ,\boldsymbol{\vec{i}}_{n} \right \} \right.$ 张成的空间，其中 $\left \| \boldsymbol{\vec{i}}_{s} \right \|=1$ ； $\boldsymbol{\vec{i}}_{s}\cdot \boldsymbol{\vec{i}}_{t}=0,s\neq t$ 。

3）经过线性变换后的新坐标系为：有标准正交基向量 $\left \{ \left. \boldsymbol{\vec{j}}_{1},\boldsymbol{\vec{j}}_{2},\cdots ,\boldsymbol{\vec{j}}_{n} \right \} \right.$ 张成的空间,其中 $\left \| \boldsymbol{\vec{j}}_{s} \right \|=1$ ； $\boldsymbol{\vec{j}}_{s}\cdot \boldsymbol{\vec{j}}_{t}=0,s\neq t$

根据定义，有：

$\boldsymbol{\vec{j}}_{s}=\left ( \boldsymbol{\vec{i}}_{1},\boldsymbol{\vec{i}}_{2},\cdots ,\boldsymbol{\vec{i}}_{n} \right )\begin{bmatrix} \boldsymbol{\vec{j}}_{s}\cdot\boldsymbol{\vec{i}}_{1} \\ \vdots \\ \boldsymbol{\vec{j}}_{s}\cdot \boldsymbol{\vec{i}}_{n} \end{bmatrix},s=1,2,\cdots ,n$

记 $\boldsymbol{w}_{s}=\left ( \boldsymbol{\vec{j}}_{s}\cdot\boldsymbol{\vec{i}}_{1},\cdots ,\boldsymbol{\vec{j}}_{s}\cdot \boldsymbol{\vec{i}}_{n} \right )^{T}$ ，其个分量就是基向量 $\boldsymbol{\vec{j}}_{s}$ 在原始坐标系 $\left \{ \left. \boldsymbol{\vec{i}}_{1},\boldsymbol{\vec{i}}_{2},\cdots ,\boldsymbol{\vec{i}}_{n} \right \} \right.$ 中的投影，即： $\boldsymbol{\vec{j}}_{s}=\left ( \boldsymbol{\vec{i}}_{1},\boldsymbol{\vec{i}}_{2},\cdots ,\boldsymbol{\vec{i}}_{n} \right )\boldsymbol{w}_{s}$ 。根据标准正交基的性质，有：

1） $\left \| \boldsymbol{w}_{s} \right \|=1,s=1,2,\cdots ,n$

2） $\boldsymbol{w}_{s}\cdot \boldsymbol{w}_{t}=0,s\neq t$

根据定义有： $\left ( \boldsymbol{\vec{j}}_{1},\boldsymbol{\vec{j}}_{2},\cdots ,\boldsymbol{\vec{j}}_{n} \right )=\left ( \boldsymbol{\vec{i}}_{1},\boldsymbol{\vec{i}}_{2},\cdots ,\boldsymbol{\vec{i}}_{n} \right )\left ( \boldsymbol{w}_{1},\boldsymbol{w}_{2},\cdots ,\boldsymbol{w}_{n} \right )$ 。令坐标变换矩阵 $\boldsymbol{W}$ 为：

$\boldsymbol{W}=\left ( \boldsymbol{w}_{1},\boldsymbol{w}_{2},\cdots ,\boldsymbol{w}_{n} \right )\begin{bmatrix} \boldsymbol{\vec{j}}_{1}\cdot\boldsymbol{\vec{i}}_{1} & \boldsymbol{\vec{j}}_{2}\cdot\boldsymbol{\vec{i}}_{1} & \cdots &\boldsymbol{\vec{j}}_{n}\cdot\boldsymbol{\vec{i}}_{1} \\ \boldsymbol{\vec{j}}_{1}\cdot\boldsymbol{\vec{i}}_{2} & \boldsymbol{\vec{j}}_{2}\cdot\boldsymbol{\vec{i}}_{2} & \cdots &\boldsymbol{\vec{j}}_{n}\cdot\boldsymbol{\vec{i}}_{2} \\ \vdots & \vdots & \ddots & \vdots \\ \boldsymbol{\vec{j}}_{1}\cdot\boldsymbol{\vec{i}}_{n} & \boldsymbol{\vec{j}}_{2}\cdot\boldsymbol{\vec{i}}_{n} & \cdots &\boldsymbol{\vec{j}}_{n}\cdot\boldsymbol{\vec{i}}_{n} \end{bmatrix}$

则有： $\left ( \boldsymbol{\vec{j}}_{1},\boldsymbol{\vec{j}}_{2},\cdots ,\boldsymbol{\vec{j}}_{n} \right )=\left ( \boldsymbol{\vec{i}}_{1},\boldsymbol{\vec{i}}_{2},\cdots ,\boldsymbol{\vec{i}}_{n} \right )\boldsymbol{W}$ 。 $\boldsymbol{W}$ 的第 $s$ 列就是 $\boldsymbol{\vec{j}}_{s}$ 在原始坐标系 $\left \{ \left. \boldsymbol{\vec{i}}_{1},\boldsymbol{\vec{i}}_{2},\cdots ,\boldsymbol{\vec{i}}_{n} \right \} \right.$ 中的投影，且有 $\boldsymbol{W}=\boldsymbol{W}^{T}$ ， $\boldsymbol{W}\boldsymbol{W}^{T}=\boldsymbol{I}$ 。

假设样本点 $\boldsymbol{\vec{x}}_{i}$ 在原始坐标系中的表示为：

$\boldsymbol{\vec{x}}_{i}=\left ( \boldsymbol{\vec{i}}_{1},\boldsymbol{\vec{i}}_{2},\cdots ,\boldsymbol{\vec{i}}_{n} \right )\begin{bmatrix} x_{i}^{(1)}\\ x_{i}^{(2)}\\ \vdots \\ x_{i}^{(n)} \end{bmatrix}$

令 $\boldsymbol{\vec{x}}_{i}=\left ( x_{i}^{(1)},x_{i}^{(2)},\cdots ,x_{i}^{(n)} \right )^{T}$ ，则 $\boldsymbol{\vec{x}}_{i}=\left ( \boldsymbol{\vec{i}}_{1},\boldsymbol{\vec{i}}_{2},\cdots ,\boldsymbol{\vec{i}}_{n} \right )\boldsymbol{x}_{i}$ 。

假设样本点 $\boldsymbol{\vec{x}}_{i}$ 在新坐标系中的表示为：

$\boldsymbol{\vec{x}}_{i}=\left ( \boldsymbol{\vec{j}}_{1},\boldsymbol{\vec{j}}_{2},\cdots ,\boldsymbol{\vec{j}}_{n} \right )\begin{bmatrix} z_{i}^{(1)}\\ z_{i}^{(2)}\\ \vdots \\ z_{i}^{(n)} \end{bmatrix}$