PCA（主成分分析）

在处理数据时有可能会造成维数灾难：在给定精度下，准确地对某些变量的函数进行估计，所需样本量会随着样本维数的增加而呈指数形式增长。
降维的意义：克服维数灾难，获取本质特征，节省存储空间，去除无用噪声，实现数据可视化

主成分分析（PCA（Principal Component Analysis））

• 基本概念：构造原变量的一系列线性组合形成几个综合指标，以去除数据的相关性，并使低维数据最大程度保持原始高维数据的方差信息。
• 一般步骤：

1. 去除平均值，又称为样本中心化（每个样本元素减去自己特征的平均值）
2. 计算协方差矩阵
3. 计算协方差矩阵的特征值和特征向量将特征值从大到小排序
4. 保留最上面的N个特征向量
5. 将数据转换到上述N个特征向量构建的新空间中

• 性质：
  1.保留方差是最大的
  2.最终的重构误差（从变换后回到原始情况）是最小的

• 算法描述：
  
  假定数据样本进行了中心化，再假定投影变换后得到的新坐标系为 { w 1 , w 2 , . . . , w d } \{w_1,w_2,...,w_d\} {w1​,w2​,...,wd​},其中$w_i$是标准正交基向量,$||w_i|{|}_2=1,w_i{w}_j^T=0(i不等于j)$若丢弃新坐标系中的部分坐标，即将维度降低到$d^{\prime }<d$,则样本点$x_i$在低维坐标系中的投影是$z_i=(z_{i1};z_{i2};...;z_{i{d}^{\prime }}),$ 其中$z_{ij}=w_i\cdot x_i$是在低维坐标系下第j维的坐标.若基于$z_i$来重构$x_i$,则会得到$\hat{y}={\sum }_{j=1}^{d^{\prime }}{z}_{ij}{x}_j$.

了解PCA之前我们先复习一下概率论中方差，协方差，协方差矩阵的概念。

• 方差

方差衡量数据的波动程度
均值：
$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
方差：
$$s^2=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{X}{)}^2}$$
标准差:$s=\sqrt{s^2}$

• 协方差

方差描述的是其本身数据的情况，如果我们想知道，某2种数据之间的关系，比如，年龄和身高。假设这里有样本集合f(x,y)=(xi,…,yi)，x表示年龄，y表示身高，那么2者之间的关联程度可以这么定义：
$$cov(X,Y)=cov(Y,X)=\frac{1}{n-1}\sum _{i=1}^n(X_1-\overline{X})(Y_i-\overline{Y})$$

• 若X和Y相互独立，则$cov(X,Y)=0$

• $cov(X,X)=D(X)，D(X)方表示方差$

• 若$cov(X,Y)>0，则表示X,Y正相关$相反则负相关。

• 协方差矩阵

上述协方差描述的是二维，即两个变量之间的关系，如果是三维或者多维的情况则引入协方差矩阵来描述他们的关系。
设有n维随机变量$(X_1,X_2,...,X_n)$
则${\sigma }_{i,j}=cov(X_i,X_j)=E(X_i-E(X_i))E(X_j-E(X_j))$
则协方差矩阵：
$$\Sigma =\left[\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{1,2}& ...& {\sigma }_{1,n}\\ {\sigma }_{21}& {\sigma }_{22}& ...& {\sigma }_{2n}\\ ...& ...& ...& ...\\ {\sigma }_{n1}& {\sigma }_{n,2}& ...& {\sigma }_{n,n}\end{array}\right]$$
由协方差的性质可知，协方差矩阵$\Sigma$是对称矩阵。

那么PCA和协方差矩阵有什么关系呢。

PCA的就是将高维空间的数据映射到低维空间，降低维度之间的相关性，并且使自身维度的方差尽可能的大。那么哪种数据方式可以同时表达维度之间的相关性以及维度本身的方差呢？就是上面提到的协方差矩阵。由上面协方差矩阵的概念可知,协方差矩阵对角线上是自身的方差，其他元素是两两维度之间的协方差(即相关性)。
PCA的目的之一：降低维度之间的相关性，也就说减小协方差矩阵非对角线上的值。如何减小呢？可以使协方差矩阵变成对角矩阵。对角化后的矩阵，其对角线上是协方差矩阵的特征值。特征值和特征向量可以参照线性代数中的概念。
即：假设有n*n的矩阵$A$，并且有$A\alpha =\lambda \alpha ,\alpha 是特征向量。\lambda 称为特征值。$A若有n个线性无关的特征向量，则$A$可对角化。若矩阵A可对角化，则有$$\begin{gathered} P^{-1}AP=\left[\begin{array}{cccc}{\lambda }_1& & ...& \\ & {\lambda }_2& ...& \\ ...& ...& ...& ...\\ & & ...& {\lambda }_n\end{array}\right] \\ P表示有A的的特征向量施密特正交化后组成的正交矩阵。 \end{gathered}$$
注：实对称矩阵（$A^T=A$）必可矩阵对角化。

$A\alpha$矩阵相乘的含义就是，矩阵A对向量$\alpha$进行一系列的变换(旋转或者拉伸)，其效果等于一个常数$\lambda$乘以向量$\alpha$。
通常我们求特征值和特征向量是想知道，矩阵能使哪些向量(当然是特征向量)只发生拉伸，其拉伸程度如何(特征值的大小)。这个真正的意义在于，是为了让我们看清矩阵能在特征向量方向产生最大的变化效果。
再回到刚才的协方差矩阵对角化之后，得到了协方差矩阵的特征值；那么我们就能得到协方差矩阵在特征值对应的特征向量的方向上有最大的变化效果。当然这里的特征值会有多个，我们只需要取最大的几个，特征值越大，表示其在特征向量上的变化越大。我们将这几个特征值对应的特征向量的方向作为新的维度，于是就达到了降维的目的。
即我们求协方差矩阵的特征值和特征向量得到$$\Sigma =P^{-1}\Lambda P，\Lambda 表示有特征值组成的对角矩阵。$$

代码实现：

import numpy as np
#读取文件
def loadDataSet(fileName, delim='\t'):
    fr = open(fileName)
    stringArr = [line.strip().split(delim) for line in fr.readlines()]
    datArr = [map(float,line) for line in stringArr]
    return mat(datArr)

def pca(dataMat, topNfeat=n):
    meanVals = np.mean(dataMat, axis=0)   #（axis=0）按列求均值
    meanRemoved = dataMat - meanVals   #减去均值，即：每个元素减去自己特征的平均值
    covMat = np.cov(meanRemoved, rowvar=0)   #计算协方差矩阵，rowvar为0，一行为一个样本，不为0一列为一个样本
    
#求特征值和特征向量,特征向量是按列放的，即一列代表一个特征向量 。eigVals以行向量形式存放特征值。
#eigVects存放特征向量，每一列代表一个特征向量。
    eigVals,eigVects = np.linalg.eig(mat(covMat))
    eigValInd = np.argsort(eigVals)            #对特征值从小到大排序 ,函数argsort()返回从小到大排序的index
    eigValInd = eigValInd[:-(topNfeat+1):-1]  #列表逆序以后，从头到位取前topNfeat个特征值index,
#即最大的n个特征值的index （python里面，list[a:b:c]代表从下标a开始到b，
#步长为c。list[::-1]可以看作是列表逆序）
    redEigVects = eigVects[:,eigValInd]       
#最大的n个特征值对应的特征向量  
    lowDDataMat = meanRemoved * redEigVects
#低维特征空间的数据 
    reconMat = (lowDDataMat * redEigVects.T) + meanVals
#把数据转换到新空间
    return lowDDataMat, reconMat
#返回结果

使用sklearn中的PCA：

• 参数说明：
  n_components:
  意义：PCA算法中所要保留的主成分个数n，也即保留下来的特征个数n
  类型：int 或者 string，缺省时默认为None，所有成分被保留。
  copy:
  类型：bool，True或者False，默认为True。意义：表示是否在运行算法时，将原始训练数据复制一份。若为True，则运行PCA算法后，原始训练数据的值不会有任何改变，因为是在原始数据的副本上进行运算；若为False，则运行PCA算法后，原始训练数据的值会改，因为是在原始数据上进行降维计算。
  whiten:
  类型：bool，默认为False
  意义：白化，使得每个特征具有相同的方差。就是对降维后的数据的每个特征进行归一化，一般不需要白化。
• .PCA对象的属性
  components_ ：返回具有最大方差的成分。
  explained_variance_：所保留的n个成分各自的方差
  explained_variance_ratio_：返回 所保留的n个成分各自的方差百分比。
  n_components_：返回所保留的成分个数n。
  noise variance：噪声方差大小
  mean_:特征均值
• PCA对象的方法
  fit(X,y=None)
  fit()是scikit-learn中通用的方法。因为PCA是无监督学习算法，此处y等于None。
  fit(X)，表示用数据X来训练PCA模型。
  fit_transform(X)
  用X来训练PCA模型，同时返回降维后的数据。
  inverse_transform()
  将降维后的数据转换成原始数据，X=pca.inverse_transform(newX)
  transform(X)
  将数据X转换成降维后的数据。
• 使用
  通常来说使用PCA降维以后需要保留95%以上的方差，因此sklearn中的PCA有三种种使用方式：
  第一种：手动设置维度int类型，即降维后的维度，查看保留的方差百分比（explained_variance_ratio_）来调整合适的n_components，此时n_components大于1。
  第二种：手动设置保留的方差百分比int类型，系统会自动选择维度，此时n_components范围在（0,1],例如0.95。
  第三种：还可以将参数设置为string类型"mle", 此时PCA类会用MLE最大似然算法根据特征的方差分布情况自己去选择一定数量的主成分特征来降维。
  通常使用pandas读取数据的时候得到的dataframe可能需要处理一下,变成array格式。

import numpy as np
import pandas as pd

df =pd.read_excel('data')
#这三种方法都可以
matrix1 = df.values
matrix2 = df.as_matrix()
matrix3 = np.array(df)

from sklearn.decomposition import PCA
pca1 = PCA(n_components=30)
pca2 = PCA(n_components=0.3)
pca3= PCA(n_components="mle")
matrix_pca = pca.fit_transform(matrix)
print (explained_variance_ratio_) #查看保留的维度各自的方差比例
variance_pca = pca.explained_variance_ratio_.sum()
#查看保留的总方差
print (variance_pca)

PCA的数学推导（了解）

矩阵知识可知：$$\mathbf{z}=\mathbf{W}\mathbf{X}$$
假设X代表所有属性构成的向量${\mathbf{X}}_{n\times 1}$，我们可以乘上${\mathbf{W}}_{d\times n}$，则上上式可得$z_{\mathbf{d}\times 1}$，若d<n，则得到的新向量z的维度就小于$\mathbf{X}$的维度，就达到了降维的效果。
那么问题就准变成了怎样找$W$矩阵？我们拆开来看：
$$W=\left[\begin{array}{c}{w}_1^T\\ w_2^T\\ ...\\ w_d^T\end{array}\right]$$

已知${\mathbf{z}}_1$是特征${\mathbf{x}}_1$投影在正交向量${\mathbf{w}}_1$方向上的结果，即$${\mathbf{z}}_1={\mathbf{w}}_1\cdot {\mathbf{x}}_1,||w_1|{|}_2=1,即w_1是正交向量。$$（向量点乘的含义：结果是一个向量在另一个向量方向上投影的长度，是一个标量）。
正交向量$w$具有特征$||w|{|}_2=1,w^T\cdot w=1$

在整个样本空间中，要使样本点投影在特征向量上极可能的分开，则需要最大化投影点的方差：
$$Var(z_1)=\sum _{z_1}(z_1-{\overline{z}}_1),||w_1|{|}_2=1,{\overline{z}}_1表示该特征的均值$$
由线性代数的知识可得：
$$\begin{array}{l}\mathrm{Var}\left(z_1\right)={\sum }_{z_1}{\left(z_1-\overline{z_1}\right)}^2\\ ={\sum }_x{\left(w_1\cdot x-w_1\cdot \overline{x}\right)}^2\\ =\sum {\left(w_1\cdot (x-\overline{x})\right)}^2\\ =\sum {\left(w_1\right)}^T(x-\overline{x})(x-\overline{x}{)}^T{w}_1\\ ={\left(w_1\right)}^T\sum (x-\overline{x})(x-\overline{x}{)}^T{w}_1\end{array}$$
可看出其中$\sum (x-\overline{x})(x-\overline{x}{)}^T=Cov(x)=S$是协方差，（S是半正定矩阵，所有特征值非负。）
所以即找到$w_1$使得$$Var(z_1)=w_1^{T}S{w}_1,st:||w_1|{|}_2=1$$最大。
由拉格朗日乘子法令：
$$g(w_1)=w_1^{T}S{w}_1+\lambda ||w_1|{|}_2$$
分别对$w_1,\lambda$求偏导可得：$S{w}_1=\lambda w_1,$所以$w_1就是协方差矩阵S$的特征向量。且$w_1$是正交向量。

同理我们将特征$x_2$投影到$w_2$上得到$z_2$,且$w_1\ast w_2=0,即两向量垂直$:
$$Var(z_2)=\sum _{z_2}(z_2-{\overline{z}}_2),||w_2|{|}_2=1,w_1\cdot w_2=0,{\overline{z}}_2表示该特征的均值$$
按相同的方法得到$S对应的特征向量{\mathbf{w}}_2,...,{\mathbf{w}}_{\mathbf{d}}$。需注意不要忘记条件$w_i$是正交向量，得到的矩阵$\mathbf{W}$是正交矩阵，有性质$||w_i|{|}_2=1,w_i{w}_j^T=0$