初识PCA方法
百科简介
Principal components analysis,被翻译为主要成分分析法,是重要的降维方法之一。主要用在将多个维度数据进行降维,使之低维度的特征指向某个或某些特定的状态或分类结果。其基本原理是基于方差来提取最有价值的信息,属于无监督问题。
向量的基变换(本部分与线代重复,学过请跳过)
对于直角坐标系下的二维向量,比如(2,1),这个向量有两个基分别是(1,0)和(0,1)两个基的含量分别是2和1,当我们旋转坐标系后就可以将这个坐标变化为(1,0)此时我们看到数据的第二个维度的大小,或者说第二个基底的含量就变成了0,此时这个向量就变成了一维向量,同时单位长度也发生了变化,由1变成了
5
\sqrt5
5
这样我们就实现了维度变化。原来的坐标系的基底可以用矩阵表示为(
1
0
0
1
\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}
1001)新的坐标系的用矩阵表示(
2
−
1
1
2
\begin{matrix} 2 & -1 \\ 1 & 2 \end{matrix}
21−12).
这个矩阵的算法可以通过下式计算:
(
2
1
)
(
1
0
0
1
)
=
(
2
1
)
=
(
1
0
)
∗
M
(\begin{matrix} 2 & 1 \end{matrix})(\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix})=(\begin{matrix} 2 & 1 \end{matrix})=(\begin{matrix} 1 & 0 \end{matrix})*M
(21)(1001)=(21)=(10)∗M
基变换利用线性空间不同基表示同一个向量时,向量本身没有发生变化,变化的只是向量在不同基下坐标值。基变换实现降维后原坐标向量变为稀疏向量,即大部分坐标值变为0,而坐标向量非零部分所对应的基为数据的主要特征部分,基变换的目的就是要找到满足以上条件的基,线性空间不同基之间可以相互转化,转换的过程就是乘以过渡矩阵,过渡矩阵的来源如下:
一般的,我们将转化的过程
(
β
1
,
β
2
.
.
.
β
n
)
=
(
α
1
,
α
2
.
.
.
α
n
)
∗
M
(\beta_1,\beta_2...\beta_n)=(\alpha_1,\alpha_2...\alpha_n)*M
(β1,β2...βn)=(α1,α2...αn)∗M
M的一般格式为
P
=
(
a
11
a
12
a
13
.
.
.
a
1
n
a
21
a
22
a
23
.
.
.
a
2
n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
a
n
1
a
n
2
a
n
3
.
.
.
a
n
n
)
P=(\begin{matrix} a_{11} & a_{12} & a_{13} & ... &a_{1n}\\ a_{21} & a_{22} & a_{23} & ... &a_{2n}\\ ... & ... & ... & ... &...\\ a_{n1} & a_{n2} & a_{n3} & ... &a_{nn} \end{matrix})
P=(a11a21...an1a12a22...an2a13a23...an3............a1na2n...ann)