椭圆的标准方程与协方差矩阵的特征值和特征向量的关系

椭圆的标准方程与协方差矩阵的特征值和特征向量的关系

flyfish

• 单位圆 ：单位圆表示在标准正交基下的分布。

• 椭圆 ：通过协方差矩阵的特征向量和特征值变换得到的椭圆，表示数据在新的坐标系下的分布。

• 特征向量 ：红色箭头表示特征向量方向，即椭圆的主要轴方向。

• 特征值 ：红色箭头的长度表示特征值大小，即椭圆沿主要轴的伸缩程度。

import numpy as np
import matplotlib.pyplot as plt

# 示例协方差矩阵
covariance_matrix = np.array([[4, 2], [2, 3]])

# 计算特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eigh(covariance_matrix)

# 生成单位圆
theta = np.linspace(0, 2 * np.pi, 100)
circle = np.array([np.cos(theta), np.sin(theta)])

# 变换单位圆以得到椭圆
ellipsoid = eigenvectors @ np.diag(np.sqrt(eigenvalues)) @ circle

# 绘制单位圆和椭圆
plt.plot(circle[0], circle[1], label='Unit Circle')
plt.plot(ellipsoid[0], ellipsoid[1], label='Ellipse')

# 绘制特征向量
mean = np.array([0, 0])
for i in range(len(eigenvalues)):
    eigval = np.sqrt(eigenvalues[i])
    eigvec = eigenvectors[:, i]
    start, end = mean, mean + eigval * eigvec * 2  # 伸长因子
    plt.annotate('', xy=end, xytext=start, arrowprops=dict(facecolor='red', width=2.0))

# 设置图表
plt.xlabel('X')
plt.ylabel('Y')
plt.title('Unit Circle and Transformed Ellipse')
plt.legend()
plt.grid()
plt.axis('equal')
plt.show()

椭圆方程的推导

1. 协方差矩阵的定义 ：
   对于一个随机向量 $$\mathbf{x}=\left(\begin{array}{c}x\\ y\end{array}\right)$$，协方差矩阵 $\Sigma$ 表示其分布的协方差信息：$$\Sigma =\left(\begin{array}{cc}{\sigma }_{xx}& {\sigma }_{xy}\\ {\sigma }_{yx}& {\sigma }_{yy}\end{array}\right)$$
   其中，${\sigma }_{xx}$ 和 ${\sigma }_{yy}$ 是 $x$ 和 $y$ 的方差${\sigma }_{xy}={\sigma }_{yx}$ 是 $x$ 和 $y$ 的协方差。

2. 特征值和特征向量 ：
   通过求解特征方程 $\det (\Sigma -\lambda I)=0$，可以得到协方差矩阵的特征值 ${\lambda }_1$ 和 ${\lambda }_2$，以及对应的特征向量 ${\mathbf{v}}_1$$ 和 ${\mathbf{v}}_2$。

3. 椭圆方程 ：
   椭圆在二维空间中的一般方程为：$${\mathbf{x}}^T{\Sigma }^{-1}\mathbf{x}=1$$
   其中，$$\mathbf{x}=\left(\begin{array}{c}x\\ y\end{array}\right)$$，${\Sigma }^{-1}$ 是协方差矩阵的逆矩阵。

几何意义

• 特征向量 ：表示椭圆的主要轴方向。

• 特征值 ：表示椭圆沿特征向量方向的伸缩因子。

椭圆方程的几何解释

考虑一个标准单位圆的方程：
$${\mathbf{z}}^T\mathbf{z}=1$$
其中，$\mathbf{z}$ 是在标准正交基下的坐标向量。通过线性变换 $\mathbf{x}=L\mathbf{z}$，其中 $L$ 是由协方差矩阵的特征值和特征向量构成的变换矩阵，可以将单位圆变换成椭圆：$$\mathbf{x}=L\mathbf{z}$$

变换后的方程为：
$${\mathbf{x}}^T(L^{-1}{)}^T{L}^{-1}\mathbf{x}=1$$
由于 $$\Sigma =L{L}^T$$，得到：$${\mathbf{x}}^T{\Sigma }^{-1}\mathbf{x}=1$$