高维向量降维（PCA）方法学习——学习笔记

以下为学习笔记，不定期更新。

最近在处理图像，利用深度学习的方法将图像转换成向量，再对向量进行处理，在利用向量的过程中发现，无论是卷积神经网络还是深度残差网络，提取到的图像特征（每张图片对应一个向量）的维度都是非常高的，这对后期的利用图像特征进行处理造成了非常大的困难，所以寄希望于对提取到的图像特征进行降维处理，决定从最基础的方法——PCA（主成分分析）开始学起。
具体学习参考了博客：
https://blog.csdn.net/luohualiushui1/article/details/88342768?biz_id=102&utm_term=java%E5%AE%9E%E7%8E%B0PCA&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-0-88342768&spm=1018.2118.3001.4187

一、方法名称：

  主成分分析（PCA：Principal Component Analysis）

二、方法介绍：

  一种使用广泛的数据降维算法，主要思想是将高维向量映射成为低维向量（从N维映射到K维上）。
  映射得到的K维特征是全新的正交特征也被成为主成分，是在原有N维的基础上重新构造出来的。
  PCA的工作内容就是从猿似的工作空间中有顺序的找以组相互正交的坐标轴。

三、工作原理：

  第一个坐标轴选择是原始数据中方差最大的方向；
  第二个坐标轴选择的是与第一个坐标轴正交的平面中是的方差最大的方向；
  第三个坐标轴选择的是与第一个第二个坐标轴构成的平面正交的方差最大的方向；
  依此类推，得到n个这样的坐标轴，最终发现大部分方差都包含在前K个坐标轴中，后面的坐标轴中所含方差几乎为0，所以忽略余下的坐标轴，只保留前面K个含有绝大部分方差的坐标轴。
  这里还是比较好理解的，通过这样的方式保留了方差比较大的维度的特征，忽略了方差几乎为0的特征从而实现降维。