主成分分析笔记

均值𝑋⎯⎯⎯⎯⎯�¯为原点，这种一维数据可以直接放在实数轴上：

如果旋转坐标系，让横坐标和这条直线重合：

在某坐标系有一个点，𝑎=(𝑥𝑦)�=(��) ，它表示在该坐标系下标准正交基𝑒1,𝑒2�1,�2的线性组合：

𝛼=(𝑥𝑦)=𝑥𝑒1+𝑦𝑒2�=(��)=��1+��2

只是在不同坐标系中，x，y的值会有所不同（旋转的坐标表示不同的坐标系）： 

因为a到原点的距离d不会因为坐标系改变而改变： 

如果是两个点𝑎=(𝑥1𝑦2)�=(�1�2)，𝑏=(𝑥2𝑦2)�=(�2�2)，情况就复杂一些： 

随着坐标系的不同，𝑋1,𝑋2�1,�2的值会不断变化： 

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。 也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。 也就是说：

𝐴𝑚∗𝑛=𝑈𝑚∗𝑚　Σ𝑚∗𝑛　𝑉𝑇𝑛∗𝑛≈𝑈𝑚∗𝑘　Σ𝑘∗𝑘　𝑉𝑇𝑘∗𝑛��∗�=��∗�　Σ�∗�　��∗��≈��∗�　Σ�∗�　��∗��

其中k要比n小很多，也就是一个大的矩阵A可以用三个小的矩阵来表示。

𝑈𝑚∗𝑘　Σ𝑘∗𝑘　𝑉𝑇𝑘∗𝑛��∗�　Σ�∗�　��∗��

如下图所示，现在我们的矩阵A只需要灰色的部分的三个小矩阵就可以近似描述了。

卷积层(Convolution Layer)通常用作对输入层输入数据进行特征提取，通过卷积核矩阵对原始数据中隐含关联性的一种抽象。卷积操作原理上其实是对两张像素矩阵进行点乘求和的数学操作，其中一个矩阵为输入的数据矩阵，另一个矩阵则为卷积核（滤波器或特征矩阵），求得的结果表示为原始图像中提取的特定局部特征。对应过程如下图所示