AI|机器学习|深度学习：AI中线性代数知识一览无余

前言：菜大是一个纯纯的理工男，本科时期学习了线性代数，研究生学习的是矩阵论。相信很多人和菜大一样本科学习线性代数感觉很抽象，学完课程可能脑瓜子嗡嗡的，What？这有啥用？也会有人在信息论或者机器学习的学习和论文中，有很多黑体矢量的微分或者积分，再加上梯度函数，让人眼花缭乱。菜大学习了CS229课程的线代材料，并记录了AI中线性代数学习中用到的知识。

AI|机器学习|深度学习：AI中线性代数知识一览无余

线性代数能够表示以及操作多个线性方程组。例如：考虑下面的方程组：
$$\begin{array}{rl}& 3x_1-4x_2+2x_3=2\\ & -5x_1+x_2-3x_3=8\\ & 2x_1-5x_2+4x_3=10.\end{array}$$
在之前的教育经历中，上面的方程组称为三元一次方程组，最终可以分别接出三个变量分别是多少。在线性代数中，可以通过矩阵的乘法描述上面的方程组，如下：
$$\begin{array}{rl}& Ax=b\\ & with:A=\left[\begin{array}{cc}3-42& \\ & -51-3\\ 2-54& \end{array}\right],b=\left[\begin{array}{c}2\\ 8\\ 10\end{array}\right]\end{array}$$

1. 基本概念

向量是数学中一个重要的概念，把数字排成一行或一列。它是描述空间的重要工具，比如二维向量${\left[\begin{array}{c}32\end{array}\right]}^T$，第一个成分是3，第2个成分是2。将向量放在二维平面中，x坐标是3，y坐标是2的一个点。也可以看作是以平面原点为起点，目标$(3,2)$的有向线段。

n维向量n个数$a_1{a}_2{a}_3...a_n$组成n元有序数组，称为n维向量，这n个数称为该向量的n个分量。

行向量n维向量写成一行，称为行向量，记为：
$$x=\left[\begin{array}{c}{x}_1{x}_2\cdots x_n\end{array}\right]$$
列向量n维向量写成一列称为列向量，记为：
$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$
矩阵$A\in R^{n\times n}$，其中$a_{ij}$记作矩阵A的第$i$行，第$j$列的元素，记为：
$$A=\left[\begin{array}{c}{a}_{11}{a}_{12}\cdots a_{1n}\\ a_{21}{a}_{22}\cdots a_{2n}\\ ⋮⋮\ddots ⋮\\ a_{m1}{a}_{m2}\cdots a_{mn}\end{array}\right]$$

2. 矩阵乘法

向量的加法
两个维数相同的向量可以加法运算，将相同位置上对应元素相加即可，向量加法保持维数保持不变：
$$\left[\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_n\end{array}\right]+\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right]=\left[\begin{array}{c}{u}_1+v_1\\ u_2+v_2\\ ⋮\\ u_n+v_n\end{array}\right]$$
向量数乘
向量的数乘是将参与乘法运算的实数和向量的每个元素分别相乘，结果向量保持维数不变，数乘就是将向量沿着所在直线的方向拉长到相应的倍数，方向和参与运算的数字的正负号相关：
$$c\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right]=\left[\begin{array}{c}c\cdot v_1\\ c\cdot v_2\\ ⋮\\ c\cdot v_n\end{array}\right]$$
向量X向量
$x^{T}y$称为内积，有时候也称为点积，是一种特殊的矩阵乘法，且$x^{T}y=y^{T}x$。
$$x^{T}y\in R=\left[\begin{array}{c}{x}_1{x}_2\cdots x_n\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\sum _{i=1}^n{x}_i{y}_j$$
$x{y}^T$称为外积。
$$x{y}^T\in R^{m\times n}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\left[\begin{array}{c}{y}_1{y}_2\cdots y_n\end{array}\right]=\left[\begin{array}{c}{x}_1{y}_1{x}_1{y}_2\cdots x_1{y}_n\\ x_2{y}_1{x}_2{y}_2\cdots x_2{y}_n\\ ⋮⋮\ddots ⋮\\ x_m{y}_1{x}_m{y}_2\cdots x_m{y}_n\end{array}\right]$$
矩阵X向量
矩阵与向量的乘法，可以有多种角度看，若把矩阵看作是n个行向量组成，则记为：
$$y=Ax=\left[\begin{array}{c}\cdots a_1^T\cdots \\ \cdots a_2^T\cdots \\ ⋮\\ \cdots a_n^T\cdots \end{array}\right]x=\left[\begin{array}{c}{a}_1^{T}x\\ a_2^{T}x\\ ⋮\\ a_n^{T}x\end{array}\right]$$
若将矩阵看作是m个列向量，则可记为：
$$y=Ax=\left[\begin{array}{c}{a}^1\cdots a^2\cdots a^n\end{array}\right]x=\left[\begin{array}{c}⋮\\ a^1\\ ⋮\end{array}\right]x+\left[\begin{array}{c}⋮\\ a^2\\ ⋮\end{array}\right]x+\cdots +\left[\begin{array}{c}⋮\\ a^n\\ ⋮\end{array}\right]x$$
矩阵x矩阵

假设有两个矩阵：$A\in R^{m\times n},B\in R^{n\times p}$，矩阵之间的乘法要求A的列与B的行大小一致且乘法结果为矩阵，记为：
$$\begin{array}{r}C=A\times B\in R^{m\times p}where:C_{ij}=\sum _{k=1}^n{A}_{ik}{B}_{kj}\end{array}$$
由上面的知识可以得知，矩阵可以看做是多个行向量或者列向量组成，矩阵乘法可以看作是向量之间的乘法。

• **行向量x列向量。**如果矩阵$A=[a_1^T{a}_2^T\cdots a_n^T],B=[b^1{b}^2\dots b^n]$，则：

$$C=AB=\left[\begin{array}{c}\cdots a_1^T\cdots \\ \cdots a_2^T\cdots \\ ⋮\\ \cdots a_m^T\cdots \end{array}\right]\left[\begin{array}{c}{b}^1\cdots b^2\cdots b^n\end{array}\right]=\left[\begin{array}{c}{a}_1^T{b}_1{a}_1^T{b}_2\cdots a_1^T{b}_n\\ a_2^T{b}_1{a}_2^T{b}_2\cdots a_2^T{b}_n\\ ⋮⋮\ddots ⋮\\ a_m^T{b}_1{a}_m^T{b}_2\cdots a_m^T{b}_n\end{array}\right]$$

• 列向量x行向量。如果矩阵$A=[a^1{a}^2\cdots a^n],B=[b_1^T{b}_2^T\dots b_n^T]$，则：

$$C=AB=\left[\begin{array}{c}{a}^1\cdots a^2\cdots a^n\end{array}\right]\left[\begin{array}{c}\cdots b_1^T\cdots \\ \cdots b_2^T\cdots \\ ⋮\\ \cdots b_n^T\cdots \end{array}\right]=\sum _{i=1}^n{a}^i{b}_j^T$$

• 矩阵x列向量。如果$B=[b^1{b}^2\cdots b^n]$，则：

$$C=AB=A[b^1{b}^2\cdots b^n]=[A{b}^{1}A{b}^2\cdots A{b}^n]$$

• 行向量x矩阵。如果$A=[a_1^T{a}_2^T\cdots a_n^T]$，则：

$$C=AB=[a_1^T{a}_2^T\cdots a_n^T]B=[a_1^{T}B{a}_2^{T}B\cdots a_n^{T}B]$$

不同的角度分解矩阵的乘法的好处是，将矩阵乘法看作是向量维度的操作而不是标量的乘法（标量的乘法是矩阵中一系列元素的乘法求和，乘法的分解对于理解空间转换与线性变化也有极大的帮助）。

3. 性质

3.1 单位矩阵（Identity Matrix）

矩阵$I$为单位矩阵，则对角线元素为1，非对角线为0，记为：
$$I=\left[\begin{array}{c}10\cdots 0\\ 01\cdots 0\\ ⋮⋮\ddots ⋮\\ 00\cdots 1\end{array}\right]$$
对于矩阵$A\in R^{m\times n}$，则有：
$$AI=A=IA$$

3.2 对角矩阵（diagonal matrix）

矩阵$D$为对角矩阵，则对角线元素为$d_i$，非对角线元素为0，记为：
$$D=diag(d_1,d_2,\cdots ,d_n)=\left[\begin{array}{c}{d}_{1}0\cdots 0\\ 0d_2\cdots 0\\ ⋮⋮\ddots ⋮\\ 00\cdots d_n\end{array}\right]$$

3.3 对称矩阵（Symmetric Matrices）

若$A=A^T$，则$A\in R^{n\times m}$为对称矩阵；若$A=-A^T$，则为反对称矩阵。若$A$为对称矩阵，则$A+A^T,A-A^T$也为对称矩阵。对称矩阵关于对角线轴对称对，角阵是对称矩阵。对称矩阵的特性是特征值为i实数，特征向量两两正交。

3.4 迹（Trace）

矩阵对角线元素的和，称为矩阵的迹，记为：$trA={\sum }_{ii}^{i=n}{A}_{ii}$。矩阵的迹有以下特性：
$$\begin{array}{rl}& trA=tr{A}^T\\ & tr(A+B)=trA+trB\\ & tr(tA)=t\cdot tr(A)\\ & tr(AB)=tr(BA)\\ & tr(ABC)=tr(BAC)=tr(CBA)\end{array}$$

3.5 范数（Norms）

向量的范数是度量向量的长度的方式，最常见的是欧式距离(第二范数)，记为：
$$\Vert x{\Vert }_2=x^{T}x=\sqrt{\sum _{i=1}^n{x}_i^2}$$
常见的范数还有：
$$\begin{array}{rl}& \Vert x{\Vert }_1=\sum _{i=1}^n|x_i|\\ & \Vert x{\Vert }_{\infty }=\sum _{i=1}^n\max x_i\\ & \Vert x{\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{1/p}\end{array}$$

3.6 矩阵转置（Transpose）

转置矩阵为原矩阵的行列互换，给定原矩阵$A\in R^{m\times n}$，则A的转置矩阵记为：$A^T\in R^{n\times m},(A_{ij}^T=A_{ji})$。转置矩阵与原矩阵有如下关系：
$$\begin{array}{rl}& (A^T{)}^T=T\\ & (AB{)}^T=B^T{A}^T\\ & (A+B{)}^T=A^T+B^T\end{array}$$

3.7 矩阵的逆（The Inverse of a Square Matrix）

矩阵$A=R^{n\times n}$的逆矩阵记为$A^{-1}$，且满足$A^{-1}A=I$，称$A$是可逆矩阵（奇异矩阵），A矩阵的逆矩阵为$A^{-1}$。非方阵没有上述定义的逆矩阵，同时一些方阵的逆也不存在，称这些矩阵不可逆矩阵（非奇异矩阵）。逆矩阵有以下特性：
$$\begin{array}{rl}& (A^{-1}{)}^{-1}=A\\ & (AB{)}^{-1}=B^{-1}{A}^{-1}\\ & (A^T{)}^{-1}=(A^{-1}{)}^T\end{array}$$

3.8 正交矩阵（Orthogonal Matrices）

如果$x{y}^T=0$，则称两个向量正交，在二维坐标系中直观来看为两个向量垂直。已知矩阵$U$正交，则矩阵中任意两个向量正交，正交矩阵有以下特性：
$$\begin{array}{rl}& U{U}^T=I=U^{T}U\\ & U^{-1}=U^T\\ & \Vert Ux{\Vert }_2=\Vert x{\Vert }_2\end{array}$$

3.9 行列式（Determinant）

若方阵$A\in {\mathbb{R}}^{m\times n}$的行列式是函数$detA:x\to \mathbb{R}$，记为$|A|$或者det$A$，方阵的行列式是一个数。计算方式如下所示，其中$A_{ij}\in \mathbb{R}^{(m-1)\times(n-1)} $为$a_{ij}$的代数余子式。
$$\begin{array}{rl}|A|& =\sum _{i=1}^n(-1{)}^{i+j}{a}_{ij}|A_{ij}|(foranyj\in 1,2,\cdots n)\\ & =\sum _{j=1}^n(-1{)}^{i+j}{a}_{ij}|A_{ij}|(foranyi\in 1,2,\cdots n)\end{array}$$
常见的三阶方阵的行列式较为简单，如下所示：
$$\begin{array}{rl}& \left|\left[\begin{array}{c}{a}_{11}\end{array}\right]\right|=a_{11}\\ & \left|\left[\begin{array}{c}{a}_{11}{a}_{12}\\ a_{21}{a}_{22}\end{array}\right]\right|=a_{11}{a}_{22}-a_{12}{a}_{21}\\ & \left|\left[\begin{array}{c}{a}_{11}{a}_{12}{a}_{13}\\ a_{21}{a}_{22}{a}_{23}\\ a_{31}{a}_{32}{a}_{33}\end{array}\right]\right|=a_{11}{a}_{22}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{13}{a}_{21}{a}_{32}-a_{11}{a}_{23}{a}_{32}+a_{12}{a}_{21}{a}_{33}-a_{13}{a}_{22}{a}_{31}\end{array}$$
行列式的出现是为了解线性方程组，它可以简化方程组的求解。行列式的物理意义：矩阵代表的是线性变换，矩阵的行列式是变换时单位面积/单位体积缩放或者拉升的比例。如果一个矩阵的行列式大于1，那么变换后就会放大面积体积；反之就会缩小面积体积；如果行列式等于0，意味着矩阵所代表的线性变换可以降维。

3.10 二次型与半正定矩阵

给定一个矩阵$A\in \mathbb{R}^{m \times n} $，以及向量$v\in\mathbb{R}^{{n}$，标量$x}{T}Ax$称为二次型，记为：
$$\begin{array}{rl}& x^{T}Ax=\sum _{i=1}^n{x}_i(Ax{)}_i=\sum _{i=1}^n{x}_i(\sum _{j=1}^n{A}_{ij}{x}_j)=\sum _{i=1}^n(\sum _{j=1}^n{A}_{ij}{x}_i{x}_j)\\ & x^{T}Ax=(x_{T}Ax{)}^T=x^T{A}^{T}x=x^T(\frac{1}{2}A+\frac{1}{2}{A}^T)x\end{array}$$
正定矩阵设有n元实二次型$ f(x_1,x_2,⋯,x_n)=x^TAx $，

1. 如果对于任何非零列向量$x$ ，都有 $x^{T}Ax$>0，则称为正定二次型，称对称矩阵$A$为正定矩阵。
2. 如果对于任何非零列向量$x$，都有 $x^{T}Ax$⩾0，则称为半正定二次型，称$A$为半正定矩阵。
3. 如果对于 任何非零列向量$x$，都有 $x^{T}Ax$<0，则称为负定二次型，称$A$为负定矩阵。
4. 如果对于任何非零列量$x$ ，都有 $x^{T}Ax$⩽0，则称为半负定二次型，称$A$为半负定矩阵。
5. 其它的实二次型称为不定二次型，其矩阵称为不定矩阵。

3.11 特征值与特征向量（Eigenvalues and Eigenvectors）

已知矩阵$A\in R^{n\times n}$，满足$Ax=\lambda x$，定义$\lambda \in C$是矩阵$A$特征值，向量$x\in C^n$是矩阵$A$的特征向量。特征值与向量的特性：

• $trA=\sum_{i=1}^n\lambda_i\$

• $detA=|A|={\prod }_{i=1}^n{\lambda }_i$

• A的秩等于非零特征向量的个数

• 对角矩阵$A=diag(d_1,d_2,\cdots ,d_n)$的特征值为对角线元素$d_1,d_2,\cdots ,d_n)$。

3.12 对称矩阵的特征值与特征向量（Eigenvalues and Eigenvectors of Symmetric Matrices）

假设矩阵$A$为实对称矩阵，则有以下特性：

1. 矩阵$A$的特征值为实数，记为${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$。

2. 特征值${\lambda }_i$对应的特征向量$u_i$，两两正交。

矩阵$A$的特征向量$u_i$组成矩阵$U=[u_1,u_2,\cdots ,u_n]$为正交矩阵，对角线为特征值的对角矩阵$\Lambda $则有$AU=Udiag(\lambda_1,\lambda_2,\cdots,\lambda_n)=U\Lambda,A=AU^TU=UT\Lambda U$。

4. 矩阵计算

4.1 梯度（Gradient）

向量的梯度：$n\times 1$向量$x$的梯度算子记作${▽}_{x}f(x)$,定义为：
$$\begin{array}{rl}& {▽}_{x}f(x)=\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\frac{\partial f(x)}{\partial x_2}\cdots \frac{\partial f(x)}{\partial x_n}\end{array}\right]\end{array}$$
矩阵的梯度：函数$f(A)$相对$于m\times n$是矩阵$A$的梯度为一$m\times n$矩阵，简称梯度矩阵，定义为：
$$\begin{array}{rl}& {▽}_{A}f(A)\in {\mathbb{R}}^{m\times n}=\left[\begin{array}{c}\frac{\partial f(A)}{\partial A_{11}}\frac{\partial f(A)}{\partial A_{12}}\cdots \frac{\partial f(A)}{\partial A_{1n}}\\ ⋮⋮\ddots ⋮\\ \frac{\partial f(A)}{\partial A_{m1}}\frac{\partial f(A)}{\partial A_{m2}}\cdots \frac{\partial f(A)}{\partial A_{mn}}\end{array}\right]\\ & ({▽}_{A}f(A){)}_{ij}=\frac{\partial f(A)}{\partial A_{ij}}\end{array}$$

4.2 Hessian 矩阵

梯度是一阶导数，矩阵函数的二阶偏导数则是用Hessian 矩阵表示，即梯度的梯度，记为:
$$\begin{array}{rl}& {▽}_x^{2}f(x)\in {\mathbb{R}}^{n\times m}=\left[\begin{array}{c}\frac{{\partial }^{2}f(x)}{{\partial }^2{x}_1}\frac{{\partial }^{2}f(x)}{\partial x_1\partial x_2}\cdots \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_n}\\ ⋮⋮\ddots ⋮\\ \frac{{\partial }^{2}f(x)}{\partial x_m\partial x_1}\frac{{\partial }^{2}f(x)}{\partial x_m\partial x_2}\cdots \frac{{\partial }^{2}f(x)}{\partial x_m\partial x_n}\end{array}\right]\\ & ({▽}_x^{2}f(x){)}_{ij}=\frac{{\partial }^{2}f(x)}{\partial x_j\partial x_j}\end{array}$$
Hessian 矩阵可以通过两个步骤计算得出：

1. 求实值函数$f(x)$关于向量变元$x$的偏导数，得到实值函数的梯度$\frac{\partial f(x)}{\partial x}$。
2. 再求梯度$\frac{\partial f(x)}{\partial x}$相对于$1\times n$行向量$x^T$的偏导数，得到梯度的梯度即 Hessian 矩阵。

5.常见应用

5.1 数据表示

AI已经深入到各个领域，包括图像视觉、自然语言等，大火的ChatGPT是大模型时代的开始，训练如此大的模型需要海量数据，数据是以那种形式进入到模型中训练呢？计算机将图片、文字、声音等信息转换为矩阵表示。以下是pytorch读取数据集的代码，在pytorch中矩阵或是向量以张量形式存储。张量通常被认为是一个广义矩阵。也就是说，它可以是1-D矩阵（一个向量实际上就是一个张量），3-D矩阵（类似于一个数字的立方），甚至是0-D矩阵（单个数字），或者一个更难形象化的高维结构。

# 设置batch_size
batch_size = 32

train_set = DatasetFolder("food-11/training/labeled", loader=lambda x: Image.open(x), extensions="jpg", transform=train_tfm)
train_loader = DataLoader(train_set, batch_size=batch_size, shuffle=True, num_workers=0, pin_memory=False)
for batch in train_loader:
    imgs, labels = batch
    print(imgs.size())
    print(labels)
    break
# output 输出显示，一个batch的图片与标签都以矩阵形式存储
# torch.Size([32, 3, 128, 128])
# tensor([ 6,  5,  3,  4,  8,  6,  6,  2,  0,  8,  8,  7,  5,  0,  9,  9, 10,  6,
#          8,  3,  5,  3,  8,  4,  7,  4,  1,  1,  9,  9,  4,  6])

5.2 线性回归（Linear Regression）

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

线性回归通常在机器学习中用于预测较简单的回归问题的数值，找到一组系数，用这些系数与每个输入变量相乘并将结果相加，得出最佳的输出变量预测。以预测新冠病毒问题为例，下面的图片训练数据，数据集是以二维数据表的形式存储，读取、训练以及预测以矩阵形式进行。

5.3 独热编码（One-Hot Encoding）

如果用独热编码表示性别，例如：

性别：["男"，"女"]
男 => 10
女 => 01

使用独热编码（One-Hot Encoding），将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用独热编码（One-Hot Encoding），会让特征之间的距离计算更加合理。

有时机器学习中要用到分类数据。可能是用于解决分类问题的类别标签，也可能是分类输入变量。对分类变量进行编码以使它们更易于使用并通过某些技术进行学习是很常见的。one-hot 编码可以理解为：创建一个表格，用列表示每个类别，用行表示数据集中每个例子。在列中为给定行的分类值添加一个检查或「1」值，并将「0」值添加到所有其他列。

5.4 主成分分析（Principal Component Analysis ）

PCA顾名思义是将数据中主要的成分提出来，忽略数据中的冗余信息。在传统机器学习中，训练数据往往有大量的特征，仔细分析数据集，手动特征选取可以一定程度提升训练结果。PCA 方法的核心是线性代数的矩阵分解方法，可能会用到特征分解。以下是一个简单的降维实例，将蓝色的二维点集降维为一维的坐标系上的点。

5.5 奇异值分解（Singular-Value Decomposition）

降维方法是奇异值分解方法，简称 SVD，正如该方法名称所示，它是源自线性代数领域的矩阵分解方法。该方法在线性代数中有广泛的用途，可直接应用于特征选择、可视化、降噪等方面。

参考资料

cs229-linalg