对矩阵、特征值、特征向量的一些认识

---------------------------------------------矩阵、特征值、特征向量------------------------------------------------

矩阵有很多实实在在的物理意义，我们可以把矩阵看作是空间里定义的一种线性变换，这里我们在学习线性代数的时候就已经感受到了，目标矩阵左乘或右乘一个矩阵就表示对此目标矩阵实施相应的线性变换；另外还可将矩阵理解为某一特定空间中定义的坐标系线性变换，即可将一个基空间变换到另一个基空间。所以我觉得矩阵就好比一个我们常说的函数，可以实现特定的线性映射。当然肯定还有更多的物理意义，在这里我想谈谈我对特征值、特征向量的理解。我们知道方程(Ap=kp)就是我们熟知的特征方程，p为特征向量，k为特征值。可以看到，等号左右两边都是我们熟知的线性变换，左边呢是一个矩阵对一个向量实施线性变换，右边呢是一个向量在自身方向上进行相应的k伸缩变换。进一步，似乎可以看到一个很奇怪的现象，就是向量p经过矩阵A变换后，与原来的x共线，到这里我们自然会意识到原来我们常说的特征向量其实是这样一种特殊向量，就是它经过这种特定的变换后保持方向不变，仅仅是进行长度上的伸缩而已。当然，也只有这种特殊的向量才会具有这样的性质，换做其他向量显然也不会享受这样的特殊待遇。反过来，由特征向量组成的矩阵也可以作为一种线性变换矩阵存在，正是由于这样的一个矩阵，可以将矩阵从一个空间映射到另一个空间，比如可以实现矩阵对角化。因此，也可以把特征向量p就看作是矩阵A的亲朋好友，他们之间有着千丝万缕的关系，所以对自己人当然是格外的手下留情了，但是对外人那叫一个惨烈啊，上来就是劈头盖脸的一顿暴打，打的他妈都不认识了，哈哈哈。（仅仅是一些粗浅的理解，各位看官请谅解，也敬请批评指正）以上！

-----------------------------------------------PCA，特征分解(方阵）-----------------------------------------
此外，再写一个刚刚看了一篇博客后对PCA降维的理解：
    主成分分析，Principal components analysis（PCA）是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。其方法主要是通过对协方差矩阵进行特征分解，以得出数据的主成分（即特征向量）与它们的权值（即特征值)。wiki上PCA的数学定义是：一个正交化线性变换，把数据变换到一个新的坐标系统中，使得这一数据的任何投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。

  首先PCA的本质就是协方差矩阵对角化(对称矩阵特征分解)，数据阵维数太大的时候，需要降维。怎么降呢？在得到维度减少的同时，要保证信息量保留的最多，转换成数学术语就是每个行向量的方差尽可能大（方差代表信息），行向量间的协方差为0（让行与行之间尽量不相关，信息尽量转移到某几个单独的变量上，从而实现降维）。PCA的内部操作核心是在于对此数据矩阵X的协方差矩阵X*X'的特征分解(对角化)。现在希望的是降维后的协方差矩阵对角元尽可能大（信息量足够多），非对角元尽可能为0（行与行之间无关，如果相关说明没有降维成功），即变成一个对角矩阵。变成对角矩阵后，我们如何降维呢？此时需要将对角元上的特征值进行排序，此时可以把特征值小的那部分对应的信息丢掉（我的理解是：此处去掉特征值小的那部分信息即意味着我们要去除与之相对应的特征向量矩阵中对应的特征向量，也就是从一个方阵变成了一个扁矩阵，这样一来用此扁矩阵对一个数据阵进行线性变换(左乘)即可得到一个低维矩阵），此时就达到了降维的目的。特征值此时代表的就是信息量的大小。PCA就是寻找协方差矩阵的特征值、特征向量，找到方向最大的变异方向（特征向量），再找到跟它正交的，如此下去找到n个主成分。需要先标准化，因为是通过最大化线性组合方差得到，所以对变量的测量尺度敏感。假设一个矩阵A的特征值为100，10和1，而一个向量与A相乘时的意义就是一个典型的降维（Dimensionality Reduction）。如何降维呢？从上面可以看到，当xyz发生变化时，x的变化将被扩大100倍，y的变化被扩大10倍，而z则不会被扩大。那么当计算的结果不需要十分精确时，z这个变量对于我们来说意义是十分小的(这也就是可以去掉小特征值对应部分的原因)。当处理的数据维度十分巨大的时候，计算量变得很大，这时候就可以通过降维来去除不是那么重要的维度（如本例中的z维度），这些维度对最终的计算结果的影响远远小于其它的维度。(Cx=X*X'、Y=U'*X、Cy=Y*Y'=U'*Cx*U)

-----------------------------------------------SVD，奇异值分解(扁矩阵)--------------------------------------
    奇异值分解，singular value decomposition（SVD）是线性代数中一种重要的矩阵分解，前面PCA讲到的是对称矩阵(协方差矩阵)的分解实现正交对角化，而对称矩阵是建立在R^n*n的空间，而对于任意秩为R的矩阵A属于R^m*n的空间时，即特征值分解在现实生活中是行不通的，原因很简单，特征值分解局限于方阵，而现实生活中，往往都不是方阵。这时能不能找到类似的分解呢？答案是可以滴，这就是SVD奇异值分解。(A=USV')
-->特征值与奇异值，奇异值可以通过特征值来得出：
（1）求出A*A'的特征值和特征向量：A*A' nu_i=lambda_i*nu_i
（2）计算奇异值 ：sigma_i=sqrt(lambda_i）
（3）右奇异向量等于：nu_i
（4）左奇异向量等于：sigma_i*nu_i'

-------------那么SVD与特征分解有没有什么关系呢？

-->(A*A'=USV'*VS'U'=USS'U'=UBU'),U是A*A'的特征向量，奇异值就是A*A'非零的特征值开根号。在PCA应用中，协方差矩阵是正定矩阵，而正定矩阵（对称矩阵）的奇异分解实质等价于特征分解。SVD同样可以进行降维。

备注：这个知乎讨论的矩阵特征值的物理意义我觉得是非常全面的：https://www.zhihu.com/question/21874816