【机器学习】协方差-特征值&向量-正交矩阵-奇异值分解-主成分分析

sofaraway13

已于 2024-08-31 17:04:35 修改

阅读量782

点赞数 26

分类专栏：面试速记文章标签：学习人工智能机器学习算法

于 2024-08-31 16:48:03 首次发布

本文链接：https://blog.csdn.net/2401_86285609/article/details/141725632

版权

面试速记专栏收录该内容

4 篇文章 0 订阅

订阅专栏

考研面试，自用

协方差

简言之：衡量两个变量的相关性。在坐标系中，对于两个点，呈递增趋势：正相关；递减趋势：负相关；不相关可以理解为杂乱无章没有什么规律。

协方差（Covariance）是统计学中用来衡量两个随机变量之间关系的一个指标。它描述了两个变量如何共同变化。

协方差的定义：

协方差的解释：

如果 Cov(X,Y)>0，说明 X和Y具有正相关性，即当 X 增大时，Y 也倾向于增大。
如果 Cov(X,Y)<0，说明 X 和Y 具有负相关性，即当 X 增大时，Y 倾向于减小。
如果 Cov(X,Y)=0，说明 X和 Y之间没有线性关系。

其他

1.D(X+Y)=D(X)+D(Y)+Cov(X,Y)

2.协方差为零只是说明没有线性相关性，但并不意味着两个变量是独立的。而如果两个变量确实是独立的，那么它们的协方差一定为零。

协方差为零不代表变量独立：协方差为零（Cov(X,Y)=0）表示两个变量没有线性相关性，但是它们仍可能存在非线性相关性。例如，两个变量之间可能存在某种复杂的非线性关系，这种关系不会被协方差捕捉到。换句话说，协方差为零并不能完全说明两个变量是相互独立的。
变量独立时，协方差一定为零：如果两个变量是独立的，意味着它们之间没有任何形式的依赖关系（无论是线性还是非线性的）。在这种情况下，协方差必定为零。这是因为独立性意味着 E[XY]=E[X]E[Y]，所以 Cov(X,Y)=E[XY]−E[X]E[Y]=0。然而，反过来，协方差为零不一定意味着变量独立，因为协方差只测量线性关系，而独立性是更强的条件。

如何通俗地解释协方差｜马同学图解数学_哔哩哔哩_bilibili

特征值&特征向量

线性代数学习之特征值与特征向量-CSDN博客

特征值和特征向量的定义

设 A 是一个 n×n的方阵（矩阵），如果存在一个非零向量 v 和一个标量 λ，使得：

Av=λv

那么，λ 被称为矩阵 A的一个特征值，v被称为与特征值 λ 对应的特征向量。

【简言之】有那么个A，可以根据A得出特征值和特征向量。这个特征向量表现在方向上，特征值表现在伸缩上。比如（1，1）是特征向量，λ=2是特征向量；那么A点乘（2，2），（3，3）....得到的结果都是同方向的，且结果提取出来的系数是2.

理解特征值和特征向量

特征向量：是一个在通过矩阵 A 变换后方向不变的非零向量。也就是说，当矩阵 A 作用于特征向量 v时，结果只是拉伸（或缩短）了向量的长度，而没有改变它的方向。
特征值：是一个标量，表示矩阵 A在作用于特征向量 v时，向量 v 被拉伸或缩短的比例。如果特征值 λ>1，向量的长度增加；如果 0<λ<1，向量的长度减小；如果 λ=1，向量的长度保持不变；如果 λ=0，向量会被投影到零向量；如果 λ<0，向量的方向被反转。
特征值和特征向量对应，一个特征值多个特征向量【但方向相同】，一个特征向量对应一个特征值。

正交矩阵性质

行（列）向量的正交性：正交矩阵的行向量和列向量都是单位正交的，即每一对不同的行向量（或列向量）都是正交的，且每个向量的长度为1（单位向量）。
逆矩阵的性质：正交矩阵的逆矩阵等于它的转置矩阵，即 Q−1=QT。这使得计算逆矩阵非常简单，只需转置该矩阵。
保持内积：正交矩阵保持向量的内积不变。即对于任意两个向量 u和 v，有：

这意味着正交矩阵不会改变向量之间的夹角和长度。换句话说，正交矩阵表示的是一种刚性变换（旋转和反射），不改变几何性质。
行列式的性质：正交矩阵的行列式（determinant）为 ±1\pm 1±1。这是因为正交矩阵是一个刚性变换，不改变体积（在几何意义下），所以它的行列式只能是 ±1\pm 1±1。
保持向量的范数：正交矩阵不会改变向量的范数（长度）。对于任何向量 v，有：
∥Qv∥=∥v∥
这表明正交矩阵表示的变换不会改变向量的长度。
特征值的性质：正交矩阵的特征值的模长为1。如果 Q是一个正交矩阵，那么它的特征值 λ满足 ∣λ∣=1。
保持欧几里得距离：正交矩阵保持欧几里得空间中的距离不变。这意味着如果两个点在变换前后的距离相同，则通过正交矩阵变换后，它们的距离仍然相同。

奇异值分解SVD

奇异值分解（Singular Value Decomposition，简称 SVD）是线性代数中的一种重要矩阵分解方法，它可以将任意一个矩阵分解成三个矩阵的乘积。SVD 在数据分析、信号处理、计算机视觉、机器学习等多个领域中都有广泛应用。

奇异值分解的定义

步骤

【学长小课堂】什么是奇异值分解SVD--SVD如何分解时空矩阵_哔哩哔哩_bilibili

理解背诵

奇异值

奇异值是奇异值分解（SVD）中的重要概念。对于一个任意的矩阵 A，奇异值是对矩阵进行变换时衡量矩阵‘伸缩’或者‘压缩’程度的标量。具体来说，如果我们将矩阵 A 分解为 A=UΣVT，其中 U 和 V 是正交矩阵，Σ是一个对角矩阵，那么 Σ中的非负对角元素就是奇异值。

奇异值有几个关键特点：

度量矩阵的‘力量’：奇异值代表了矩阵在不同方向上如何放大或者缩小向量，它们按从大到小的顺序排列，最大奇异值代表了矩阵施加的最大变换量。
稳定性和最优性：奇异值用于衡量矩阵的条件数，从而帮助分析数值稳定性。奇异值分解也提供了矩阵的最优低秩近似。
广泛应用：在数据科学中，奇异值分解被用于数据降维（如主成分分析PCA）、压缩、去噪等场景，通过只保留最大的几个奇异值，可以保留矩阵的主要信息，减少计算复杂度。

简而言之，奇异值为我们提供了关于矩阵如何作用于向量的重要信息，这对数据分析和机器学习中的许多应用都非常有用。

奇异值分解

奇异值分解（SVD）是一种将任意矩阵分解成三个矩阵乘积的线性代数方法。对于一个 m×n的矩阵 A，SVD 将其分解为三个矩阵 A=UΣVT，其中：