程序员的数学--线性代数

1 、向量是什么

1.1 、向量的定义

在数学中， 向量 （也称为欧几里得向量、几何向量、矢量），指具有 大小 和 方向 的量。它可以形象化地

表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。与向量对应的量叫做

数量 （物理学中称标量），数量（或标量）只有大小，没有方向。

1.2 、向量的表示

向量的记法：印刷体记作粗体的字母（如 a,b,u,v ），书写时在字母顶上加一小箭头 '' → '' 。如果给定向量

的起点（ A ）和终点（ B ），可将向量记作

。实际上向量有多种记法，可以用元组表示一个向量，

如

或

。在线性代数中， n 元向量可以用 n×1 矩阵表示，如：

我们就可以把这多维度的向量想成一个立体的空间

向量的几何意义就是空间中的点，物理意义就是速度或者力这样的矢量。

向量的分量我们称之为维度， n 维向量集合的全体就构成了 n 维欧式空间，一个 n 维向量其实就是一个

n 维欧式空间的一个点。

2 、行向量与列向量

行向量 在线性代数中，是一个

的矩阵，即矩阵由一个含有 n 个元素的行所组成即行向量。行向量

的 转置 是一个 列向量 ，反之亦然。

行向量示例：

进行运算

9 、逆矩阵

9.1 、逆矩阵定义

矩阵有 AB 云散，但是没有 A/B 这么一说，只有逆矩阵。

逆矩阵怎么定义的？

假设有个矩阵 A ，注意它一定是方阵（必须是方阵），乘以矩阵 B 等于单位矩阵

：

或者

那么我们称这里的 B 为 A 的右逆矩阵，和左逆矩阵。

有个很重要的结论就是，如果这样的 B 存在的话，它的左逆和右逆一定相等，统称为 A 的逆矩阵

。则：

9.2 、逆矩阵作用

矩阵求逆有什么用呢？它可以帮助我们解线性方程组，比如

。两边同时乘以 X 的逆：

设 是 n 阶方阵，如果存在数 和非零 n 维 列向量

，使得

成立，则称 是矩阵 的一个

特征值 (eigenvalue) ， 是特征值 对应的特征向量（ eigenvector ） 。

矩阵 对向量 进行变换，这个变换的特殊之处是当它作用在特征向量 上的时候， 只发生了缩放

变换，它的方向并没有改变，并没有旋转。

观察发现， 和

在同一条直线上，只是长度不同，此时我们称 是 的特征向量，而

的长度是

长度的 倍， 就是特征值。

如果 n 阶方阵 是满秩矩阵，那么矩阵 有 n 个不同的特征值和特征向量。

2.2 、特征值分解意义

一个矩阵其实就是一个 线性变换 ，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个

向量进行了线性变换。

　　当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通

过图片来表

示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前 N 大特征向量，

那么就对

应了这个矩阵最主要的 N 个变化方向。我们利用这前 N 个变化方向，就可以近似表达这个矩阵（变

换）。也就是

说的： 提取 这个矩阵 最重要 的特征。

总结一下，特征值分解可以得到特征值与特征向量，特征值 大小 表示的是这个特征到底有多 重要 ，

而特征向量表示这个特征 是什么 ，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些

线性的子空间干很多的事情。

　　不过，特征值分解也有很多的 限制 ，比如说变换的矩阵必须是 方阵 。

4 、奇异值分解（ SVD ）

4.1 、什么是奇异值分解

特征值分解是一个提取矩阵特征很不错的方法，但是它 只适用于方阵 。而在现实的世界中，我们看到的

大部分矩阵都不是方阵，比如说有 m 个学生，每个学生有 n 科成绩，这样形成的一个 m * n 的矩阵就

可能不是方阵，我们怎样才能像描述特征值一样描述这样一般矩阵呢的重要特征呢？奇异值分解就是用

来干这个事的，奇异值分解是一个能适用于任意的矩阵的一种分解的方法。

假设 A 是一个 m * n 的矩阵，那么得到的 U 是一个 m * m 的方阵（里面的向量是正交的， U 里面的向量

称为 左奇异向量 ）， 是一个 m * n 的实数对角矩阵（对角线以外的元素都是 0 ，对角线上的元素称为

奇异值 ），

是一个 n * n 的矩阵，里面的向量也是正交的， 里面的向量称为 右奇异向量 ），从下

图片来反映几个相乘的矩阵的大小关系：

8.1 、什么是 PCA

PCA （ Principal Components Analysis ）即主成分分析，是图像处理中经常用到的降维方法。它不仅仅

是对高维数据进行降维，更重要的是经过降维去除了噪声，发现了数据中的模式规律。 PCA 把原先的 n

个特征用数目更少的 m 个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量

使新的 m 个特征互不相关。

9 、 SVD 进行矩阵求逆

9.1 、 SVD 求逆矩阵原理

在矩阵求逆过程中，矩阵通过 SVD 转换到正交空间。不同得奇异值和奇异值向量代表了矩阵中不同的线

性无关

（或独立）项。对矩阵进行 SVD 分解，形式如下所示：

奇异值矩阵为：