直观解释矩阵的特征值与特征向量

矩阵的特征值与特征向量究竟意味着什么?

我的脑子比较笨, 很多东西一定要解释地特别直观, 否则我就是一头雾水. 尤其是矩阵的特征值与特征向量, 是线性代数中非常重要的概念. 我下决心要搞明白它到底有什么直观的含义.

现在只考虑二阶方阵, 并且特征值都是实数. 即假设
A = ( 4 − 2 1 1 ) , A =\left( \begin{matrix} 4 & -2 \\1 & 1\end{matrix} \right), A=(4121),
经过计算, 矩阵 A A A 的两个特征值分别为 λ 1 = 3 , λ 2 = 2. \lambda_1 = 3, \lambda_2 = 2. λ1=3,λ2=2. 对应的特征向量分别为 x 1 = ( 0.89 , 0.45 ) T , x 2 = ( 0.71 , 0.71 ) T . x_1 = (0.89, 0.45)^T, x_2=(0.71, 0.71)^T. x1=(0.89,0.45)T,x2=(0.71,0.71)T.

矩阵 A A A 可以看成一个线性变换的算子, 即 y = A x y=Ax y=Ax, 即对变量 x x x 施加一个线性变换得到新的变量 y y y. 现在先考虑一阶的矩阵 A A A, 也就是一个标量 a a a, 也是特殊的矩阵. 于是就得到了一元线性方程 y = a x y=ax y=ax, 这简单得不能再简单了, 它的涵义也很清楚, 就是把数轴上(一维实数空间)的数变为原来的 a a a 倍, 有一种把数轴往两边拉长的感觉. “矩阵” a a a 的特征值为 a a a, 数轴上每一个向量都是特征向量, 这是因为数轴上任意的一个 “向量” 经过线性变换, 方向都没有改变.

一维空间的理解了, 那么对于二维空间也就好理解了. 回到上面的矩阵 A A A, 它二维空间上的线性算子, 它比一维情形复杂的地方在于它包含了两个维度之间的线性关系.

为了直观看一看这个线性变换的效果, 我画了个图来说明:

在这里插入图片描述

图片最中心是原点, 为了图片简洁, 就没有画坐标轴. 绿线和蓝线分别是特征向量 x 1 x_1 x1 x 2 x_2 x2 所在的方向, 暗红色的点是采样的一些样本点 x x x, 绿色的点是经过矩阵 A A A 作用后得到的新的向量, 黄色的是二者的连接线. 这里从一个圆上面采样(注意为了写代码方便, 没有进行均匀采样), 是因为二维空间中的所有向量都可以缩放到圆上, 这里只考察不同方向的向量. 从图中可以看到经过矩阵 A A A 作用后, 把圆上的向量拉伸变形成了类似椭圆(有待于验证)的形状.

下面从一个矩形区域内采样, 看一看方向变化情况:

在这里插入图片描述

这里只看变换后的方向, 所有向量模长都进行归一化处理. 可以看到, 在特征向量方向上的向量没有改变方向, 其它方向的向量都改变了方向.

第一个图的代码(代码中的文件 1500.png 是一个宽高都为 1500 像素的空白图片, 用于画图):

from PIL import Image, ImageDraw
import numpy as np
from numpy.linalg import eig

img = Image.open("1500.png")
draw = ImageDraw.Draw(img) #建立绘图对象
width, height = img.size    #获取原始图像大小


A = np.array([[4, -2], 
              [1, 0.9]])

step = 80  # 每个多远采样一个点
p_range = 500  # 采样点范围

margin = width/2 

all_direction_norm = []
max_norm = 4050 # 提前计算好的最大长度

for i in range(-p_range, p_range, step):
    for j in range(-p_range, p_range, step):
        vector = np.array([i, j]) # 生成向量
        # 可选: 把vector变成单位向量, 再将模长放大50倍, 相当于在一个圆上采样
        vector = 50 * vector / (np.linalg.norm(vector) + 1e-3)

        #print(vector)
        #print(vector[0] + margin, vector[1] + margin)
        conversion = np.matmul(A, vector) # 变换后的向量

        direction_norm = (np.linalg.norm(conversion - vector) + 1e-3)
        all_direction_norm.append(direction_norm)

        direction = (conversion - vector) / direction_norm # 计算移动方向
        direction *= direction_norm # 保证像素长度大, 能画出图来

        # 画出线, 按照 direction_norm 的大小, 赋予由深到浅的颜色, 需要提前确定好最大的 direction_norm
        draw.line( ((vector[0] + margin, vector[1] + margin),
                    (vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin))),   fill = (200, 200, 50)) #画一条直线,(0, 0)到(width-1, height-1),fill指线的颜色
        # 把线的起点描成红色
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin,    vector[1] + margin)),       fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin +1, vector[1] + margin)),       fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin+1,  vector[1] + margin+1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin,    vector[1] + margin+1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin-1,  vector[1] + margin)),       fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin-1,  vector[1] + margin+1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin-1,  vector[1] + margin-1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin,    vector[1] + margin-1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin+1,  vector[1] + margin-1)),     fill = (150, int(direction_norm / max_norm * 255), 0))

        # 把线的终点描成绿色
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin))),      fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin) +1, vector[1] + int(direction[1] + margin))),   fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)+1, vector[1] + int(direction[1] + margin)+1)),  fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)+1)),    fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)-1, vector[1] + int(direction[1] + margin))),    fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)-1, vector[1] + int(direction[1] + margin)+1)),  fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)-1, vector[1] + int(direction[1] + margin)-1)),  fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)-1)),    fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)+1, vector[1] + int(direction[1] + margin)-1)),  fill = (0, 255, 0))
print("最大长度: ", max(all_direction_norm))

# 画特征向量
vals,  vecs = eig(A) # 特征分解,每一列是特征向量

a1 = vecs[0, 0]
a2 = vecs[1, 0]

b1 = vecs[0, 1]
b2 = vecs[1, 1]

# 画出两个特征向量
draw.line( ((margin,            margin), 
            (margin + a1 * 500, margin + a2 * 500)),
           fill = (0, 10, 255)) #画一条直线,(0, 0)到(width-1, height-1),fill指线的颜色
draw.line( ((margin,            margin), 
            (margin + b1 * 500, margin + b2 * 500)),
           fill = (0, 255, 10)) #画一条直线,(0, 0)到(width-1, height-1),fill指线的颜色
# 画出紫色中心点
draw.line(((margin, margin), (margin, margin)), fill = (255, 0, 255))#画一条直线,(0, 0)到(width-1, height-1),fill指线的颜色

img.save("result.png")#保存新图像


print("特征值:", vals)
print("特征向量:", vecs)
  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PCA(Principal Component Analysis)是一种常用的降维技术,可以将高维数据压缩为低维数据,保留主要信息。展示PCA压缩特征的计算结果的过程可以通过以下步骤进行: 1. 数据预处理:对原始数据进行标准化处理,确保各个特征具有相同的尺度。 2. 计算协方差矩阵:将预处理后的数据计算协方差矩阵。协方差矩阵描述了数据特征之间的相关性。 3. 特征值分解:对协方差矩阵进行特征值分解,得到特征值和对应的特征向量特征值表示了数据在特征空间中的方差,特征向量表示了数据在特征空间中的方向。 4. 特征值排序:将特征值按照从大到小的顺序进行排序,选择前k个特征值对应的特征向量作为主成分。 5. 降维:将原始数据投影到选取的主成分上,得到降维后的数据。降维后的数据可以用于可视化或其他后续分析。 展示PCA压缩特征的计算结果的过程可以通过绘制以下图表来完成: 1. 方差解释比例图:绘制特征值的累计方差解释比例图,展示每个主成分所解释的方差比例。这个图可以帮助确定保留多少个主成分。 2. 特征值分布图:绘制特征值的分布图,展示每个主成分的特征值大小。这个图可以帮助确定在哪个主成分后可以截断。 3. 降维后数据的散点图:将降维后的数据绘制在二维或三维散点图上,展示数据在降维后的空间中的分布情况。这个图可以帮助观察数据的聚类或分布特点。 通过上述图表,可以直观地展示PCA压缩特征的计算结果和数据的降维效果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值