主成分分析PCA For R

1.主成分分析原理

翻了很多帖子没有一个可以直接看懂的，每个帖子的说法用词虽然略微不一样，切入点都差不多，感觉都是从一个地方抄过来稍加修改而已。特别是从协方差忽然就切入特征值特征向量，让数学门外汉摸不着头脑。

参考书：<多変量解析II 主成分分析　理論とRによる演習>
使用数据：mtcars

关键词：
1.协方差矩阵
2.特征向量，特征值

• 主成分分析的目的:
  很简单：降低维度（去噪）👉将一组N维数据降成K维（K小于N）
  原始数据Z在主成分向量l上的投影X最大
  X=Z*l （Z已知，求l以及l相对应的X）
  这里就产生了两个条件（如下）

• 为了达到这个目的就得满足两个条件

1. 投影X最大（为了实现最小数据损失）
2. 主成分向量l必须是单位直交向量

• 为了求上述方程的解，就使用到了拉格朗日定理，经过推导（详细略）最后相当于将原始数据Z的协方差矩阵对角化，并求出协方差矩阵的特征值和特征向量。

这样就把协方差矩阵和特征值特征向量之间的关系给连起来了。原来并不是人家说的不明白，是自己数学知识不够，之前没听说过拉格朗日定理。详细推导过程了解一下就好，完全没有必要记住甚至钻牛角尖。只要明白为什么求主成分忽然变成了求协方差矩阵的特征值和特征向量就好

0614 11:07 补充

• 特征向量的理解: 原数据投影的地方( 角度)？是单位向量
  特征值: 投影的大小
  可以用高中物理力的分解思维来反向理解。

• 理解协方差矩阵
  协方差矩阵本质就是一个相关系数矩阵

• 求协方差矩阵的特征值和特征向量
  原始数据的标准化数据乘以各特征向量就是各组数据在主成分上的投影，也就是各组数据的主成分得点。（PCA score）

• Loading Score
  概念有点晕，可以理解成原始数据各维度和每个主成分的相关度。
  计算：特征值开方以后乘以对应的特征向量。

2. R语言实现

不使用自带函数，手动计算

• 使用数据：mtcars

Z<-as.matrix(mtcars)
n<-nrow(Z)
Z_scl<-scale(Z)
S<-(1/(n-1))*t(Z_scl)%*%Z_scl #各个维度的写相关矩阵，本数据有11各变量
> head(S)
            mpg        cyl       disp         hp       drat         wt        qsec         vs
mpg   1.0000000 -0.8521620