Principal Component Analysis 基于方差查找方差最大的方向,方差越大的方向 数据更容易分开,数据分的越开 更易于对其分类。 和LDA降维一样都有些问题,会有一些信息丢失,降维后的数据代表什么是不知道的( 丢失了原来的物理意义)。 向量的表示及基变换: 向量内积相当于做了一个投影的操作。 向量(3,2)是在x轴上有个投影和在y轴上有个投影。 有了一组基之后,在x轴方向和y轴方向,这组基都是单位向量。 基变换: 线性无关是指:x轴的数据不会影响y轴的数据,y轴的数据也不会影响x轴的数据。 基变换的理解: www.bilibili.com/video/av650… 协方差矩阵: 假设均值为0的目的是:每一列的数据减去均值使每列特征都以0为中心化。 优化目标: 实例: