矩阵特征值的意义

1、二维视角

核心观点：
- 矩阵乘法即线性变换——对向量进行旋转和长度伸缩，效果与函数相同;
- 特征向量指向只缩放不旋转的方向;
- 特征值即缩放因子;
- 旋转矩阵无实数特征向量和特征值。

蒙娜丽莎画像红色箭头是特征向量，特征值为1，比例正常；蓝色方向特征值不为1，图像被缩放。

Ref：

  [1].矩阵乘法核心思想(6)：特征向量与特征值的几何意义
  [2].矩阵乘法核心思想（5）：内积与外积
  [3].矩阵乘法电路使用内积外积的优缺点及对计算架构需求分析

2、更高维角度统摄

（一）几何上
如果把矩阵理解为一个坐标系（不一定直角的，也可能是严重变形的“尺子”），有一类向量叫特征向量，其中的任一个向量，在该坐标系（矩阵）上的投影，都只是自身固定的伸缩！

而该比值对这条直线上的所有向量都适应，即无论射线长短、方向。
那么总共会有多少条这样的直线呢？
n维矩阵最多有n条，每一条的比值（特征值）可能都不一样，有大有小，都代表这一维度的自身特征，故这里大、小意义就明显了。
大可以理解为该维度上尺子的单位刻度大，比如表示一个单位刻度。
小可以理解为该维度上尺子的单位刻度小，比如表示一个单位刻度。

(二) 医学上
如果把矩阵理解为中医祖传秘籍（乱不外传的密码），特征向量理解为秘方子（枸杞、百合、红花、童子尿…)，特征值就是对该方子的用药量，温、热、寒不同方子特征值不一样， 这也说得通，如下图！

进一步，把西药制成品也类比为特征向量。比如新冠治疗中的瑞得西韦， 特征值就是该神药该服用多少？还有其它药方子，如莲花清瘟等，假设都能治疗新冠肺炎，但用量肯定是不一样的，即不同特征向量对应的特征值不一。

特征值也叫算子的本征值，台湾人习惯这样称呼，同一个意思，英文词源其实来自德语(自身的)。本来很好理解的概念，几经"转手"之后就晦涩难懂了…

(三) 控制系统
控制系统特征值可以用来指代一个系统的响应特性，矩阵跟数字的作用应该是类似的，数字代表了量化的程度，矩阵代表了系统变化的特性（或者变化趋势，或者变化快慢，或者变化程度），线性系统的矩阵中的不同特征值对应着这个系统包含的不同的变化特性，比如以多快的速度来逼近稳态，以多少的频率发生震荡，也可以来判定这个系统发展趋势是否稳定（稳定性原理）。这是从控制这一学科角度的浅薄看法，可能细节上不是很准确，可以作为理解矩阵特征值的一个切入点。

Ref：

  [1].如何理解矩阵特征值的意义?

3、举几个🌰🌰🌰

(一)蒙娜丽莎

当蒙娜丽莎的图像（看作一个向量）左右翻转时（这里把左右翻转这个变换看成乘以一个矩阵），中间垂直的红色向量方向保持不变。而水平方向上黄色的向量的方向完全反转，因此它们都是左右翻转变换的特征向量。红色向量长度不变，其特征值为1。黄色向量长度也不变但方向变了，其特征值为-1。橙色向量在翻转后和原来的向量不在同一条直线上，因此不是特征向量。

(二)物理系统之共振
在信号处理的过程中，有一种情况叫共振，可以这样简单理解：一群士兵要过桥，他们产生了某种频率的振动，这种振动可以看成一种向量，桥梁可以看成一种矩阵，如果这个向量恰好是这个桥梁矩阵的多个特征向量中对应最大特征值的特征向量，那么这个向量乘以这个矩阵之后的产生了一个比原来向量方向相同，大小被放大的向量（士兵产生的振动因此被放大），从而导致桥梁坍塌。

其实，这个矩阵之所以能形成“频率的谱”，就是因为矩阵在特征向量所指的方向上具有对向量产生恒定的变换作用：增强（或减弱）特征向量的作用。进一步的，如果矩阵持续地叠代作用于向量，那么特征向量的就会凸现出来。

(三)形象比喻
矩阵可以比作是筛子，向量可以比作是往不同方向射的箭头，箭头遇到了筛子，而这个筛子只允许某一些方向的箭头通过，那么这个筛子就是矩阵，这个箭头就是向量，在研究偏振光的时候也可以据此求出偏振器件的特征矢量（求解Jones 矩阵的本征态）。

Ref：

  [1].如何理解矩阵特征值？

4、其他视角

• 站在线性变换的角度来看矩阵的话。矩阵（线性变换）作用在一个向量上无非是将该向量伸缩（包括反向伸缩）与旋转。忽略复杂的旋转变换，只考虑各个方向(特征方向)伸缩的比例，所提取出的最有用，最关键的信息就是特征值了。
• 特征向量决定了空间变化时，空间伸缩的不同方向，特征值决定伸缩的程度。方向和特征值相配合，使空间中的任何向量都发生了该矩阵所代表的空间变化。
• 就去让你给我接个人，她有很多特征，我会挑几个特典型如长发超级大美女、身材高挑皮肤好…其中特征值就是多高，多美，特征向量就是这些分类。。因为不需要给你所有信息，只要几个典型也不会让你找错人，所以能给你降维（理解降维的一个很好的角度，用举证的部分特征值来近似替代，如PCA降维）。如果你要找女友，只要几个典型如美，高之类的，估计你很快就能在100人中就能找到你心仪的，所以能寻优。
• 从线性空间的角度看，在一个定义了内积的线性空间里，对一个N阶对称方阵进行特征分解，就是产生了该空间的N个标准正交基，然后把矩阵投影到这N个基上。N个特征向量就是N个标准正交基，而特征值的模则代表矩阵在每个基上的投影长度。特征值越大，说明矩阵在对应的特征向量上的方差越大，功率越大，信息量越多。
• 应用到最优化中，意思就是对于R的二次型，自变量在这个方向上变化的时候，对函数值的影响最大，也就是该方向上的方向导数最大。
• 应用到数据挖掘中，意思就是最大特征值对应的特征向量方向上包含最多的信息量，如果某几个特征值很小，说明这几个方向信息量很小，可以用来降维，也就是删除小特征值对应方向的数据，只保留大特征值方向对应的数据，这样做以后数据量减小，但有用信息量变化不大。
• 特征向量可以看作坐标向量，特征值就是矩阵在该坐标方向上的分量大小值，特征分析相当于提取矩阵的信息出来吧。较大的特征值对应的特征向量就较为重要，矩阵降维就用的提取主特征向量思想。