【AI_数学知识】线性代数

这一篇博文是【 AI学习路线图】系列文章的其中一篇，点击查看目录：AI学习完整路线图

1.向量

向量是既有大小又有反向的量，是指具有n个相互独立的性质（维度）的对象的表示，向量常使用字母加箭头的形式进行表示，也可以使用几何坐标来表示向量，比如$\vec a=\vec{OP}=xi+yj+zk$，也可以用坐标$(i,j,k)$ 表示向量。

向量的模

向量的模就是向量的大小，也就是向量的长度，是向量坐标到圆点的距离，记作 $|a|$。

单位向量

长度为一个单位（即模为1）的向量是单位向量。

向量的加减运算

设向量 $\vec a=(x_1,y_1)$，向量 $\vec b=(x_2,y_2)$。
向量的加法满足平行四边形法则，向量的减法满足三角形法则。
$$\vec a+\vec b=(x_1+x_2,y_1+y_2)$$
$$\vec a-\vec b=(x_1-x_2,y_1-y_2)$$

数乘运算

实数 $\lambda$ 和向量的叉乘乘积还是一个向量，记作 $\lambda a$ ，且 $|\lambda a|=\lambda |a|$。
数乘的几何意义是将向量a进行伸长或者压缩操作。
设向量 $\vec a=(x_1,y_1)$，它和实数 $\lambda$ 相乘为： $\lambda \vec a=(\lambda x,\lambda y)$

数量积和向量积

设向量 $\vec a=(x_1,y_1)$，向量 $\vec b=(x_2,y_2)$，并且 $\vec a$和 $\vec b$ 之间的夹角为 $\theta$
(1) 数量积 ：两个向量的数量积（内积、点积）是一个数量（实数），记作 $\vec a \cdot \vec b$
$$\vec a \cdot \vec b=|\vec a|*|\vec b|*\cos\theta$$
是 $\vec a$ 的模乘以 $\vec b$的模，再乘以 $\cos\theta$
(2) 向量积：两个向量的向量积（外积、叉积）是一个向量，记作 $\vec a \times \vec b$。向量积是两个不共线非零向量所在平面的一组法向量。 $$|\vec a \times \vec b|=|\vec a|*|\vec b|*\sin\theta$$

正交向量

如果两个向量的点积为零，那么这两个向量互为正交向量；在几何意义上来讲，正交向量在二维/三维空间上其实就是两个向量垂直。
如果两个或者多个向量他们的点积均为0，那么它们互称为正交向量。

2.线性

线性是指变量与变量之间按比例、成直线的关系，在数学上可以理解为一阶导数为常数的函数；
非线性是指不成比例、没有直线关系，一阶导数不是常数的函数。

线性代数中的基本量指的是向量，基本关系是严格的线性关系；也就是可以简单的将线性代数理解为向量与向量之间的线性关系的映射。

3.矩阵

矩阵是描述线性代数中线性关系的参数，即矩阵是一个线性变换，可以将一些向量转换为另一些向量。
初等代数中$y=ax$ 表示的是x到y的一种映射关系，其中$a$ 是描述这种关系的参数。
线性代数中，$Y=AX$ 表示的是向量$X$ 和 $Y$ 的一种映射关系，其中$A$ 是描述这种关系的参数。

方阵

如果矩阵A中行的数量和列的数量一样都为m，那么称矩阵为m阶方阵。

零矩阵

如果矩阵中$A$ 的所有元素(m*n)都为0，那么这个矩阵A叫做零矩阵，可以记作0。

单位矩阵

n阶方阵中主对角线上的元素均为1，其他元素都为0，那么此时的n阶方阵叫做n阶单位矩阵，单位矩阵常用E或者I表示。

矩阵的加减法

要求两个矩阵具有相同的阶，比如A、B都是 $m*n$ 阶的矩阵，矩阵的加减是对应元素的加减，结果还是一个 $m*n$ 阶的矩阵。
$$A+B=B+A$$
$$(A+B)+C=A+(B+C)$$

矩阵的数乘

将数 $\lambda$ 与矩阵 $A$ 相乘，就是将数$\lambda$ 与矩阵 $A$ 中的每一个元素相乘，记作$\lambda A$
$$(\lambda \mu )A=\lambda (\mu A)$$
$$(\lambda+\mu)A=\lambda A+\mu A$$
$$\lambda (A+B)=\lambda A+\lambda B$$

矩阵与向量相乘

一个 $m*n$ 阶的矩阵，只能跟 $n*1$ 的向量相乘，最后得到的是 $m*1$ 的矩阵，这个相当于矩阵跟矩阵相乘。

矩阵与矩阵相乘

只有当第一个矩阵的列数和第二个矩阵的行数相同时候才能够定义，比如： $m*s$ 的矩阵跟 $s*n$ 的矩阵相乘，得到的是 $m*n$ 的矩阵。

矩阵的转置

把矩阵A的行和列相互交换所产生的矩阵称为A的转置矩阵。这一过程叫做矩阵的转置。
$$(A^T)^T=A$$
$$(\lambda A)^T=\lambda A^T$$
$$(AB)^T=B^TA^T$$

k阶子式

在 $m*n$ 矩阵中，任取k行k列，不改变这 $k*2$ 个元素的在A中的次序，得到k阶方阵，称为矩阵A的k阶子式。
$m*n$ 阶矩阵A中的k阶子式有 $C_m^kC_n^k$ 个。

矩阵的秩

设在矩阵中A中有一个不等于0的r阶子式D，切所有的r+1阶子式（如果存在）全等于0，那么D称为矩阵A的最高阶非零子式，r称为矩阵A的秩，记作R(A)=r。

• n*n的可逆矩阵，秩为n
• 可逆矩阵又称为满秩矩阵
• 矩阵的秩等于它行列向量组的秩

不相关的向量的最大子式阶数。

方阵行列式

（1）行列式是数学的一个函数，可以看做在几何空间中，一个线性变换的对“面积”/“体积”的影响。
（2）n阶方阵行列式可以表示为 $|A|$。
1 $\times$1的方阵，其行列式等于该元素本身。
2 $\times$2的方阵，其行列式用对角线元素的乘积减去次对角线元素的乘积 $A=\begin{pmatrix}a_{11} &&a_{12}\\a_{21}&&a_{22} \end{pmatrix} |A|=a_{11}*a_{22}-a_{12}*a_{21}$
3 $\times$3 的方阵的行列式
$$A=\begin{Bmatrix} a_{11} & a_{12} & a_{13}\\ a_{21}&a_{22}&a_{23}\\ a_{31}&a_{32}&a_{33}\\\end{Bmatrix}$$

计算多阶的方阵行列式，可以在左右模拟出来一个备份，来计算对角线，如下所示：

$$A=\color{#CCCCCC}{\begin{Bmatrix} a_{11} & a_{12} & a_{13}\\ a_{21}&a_{22}&a_{23}\\ a_{31}&a_{32}&a_{33}\\\end{Bmatrix}}\begin{Bmatrix} a_{11} & a_{12} & a_{13}\\ a_{21}&a_{22}&a_{23}\\ a_{31}&a_{32}&a_{33}\\\end{Bmatrix}\color{#CCCCCC}{\begin{Bmatrix} a_{11} & a_{12} & a_{13}\\ a_{21}&a_{22}&a_{23}\\ a_{31}&a_{32}&a_{33}\\\end{Bmatrix}}$$

那么行列式

$$|A|=\sum_{i=1}^3r_i-\sum_{i=1}^3l_i=a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{13}a_{22}a_{31}-a_{12}a_{21}a_{33}-a_{11}a_{23}a_{32}$$

就是3个对角线的乘积和减去3个次对角线的乘积和。

余子式

在一个n阶的行列式中，把元素 $a_{ij}$ 所在的行和列划去，剩下的元素按照原来的次序组成了一个n-1阶的行列式 $M_{ij}$，称为元素 $a_{ij}$ 的余子式。

代数余子式

上面说的余子式 $M_{ij}$ 带上符号 $(-1)^{i+j}$ 称为 $a_{ij}$ 的代数余子式，结果是1或者-1，记作 $A_{ij}=(-1)^{i+j}M_{ij}$。

伴随矩阵

对于n阶方阵的任意元素 $a_{ij}$ 都有各自的代数余子式，将所有的代数余子式按照次序排列出来，可以得到一个n阶的方阵 $A^*$ ，那么 $A^*$ 称为A的伴随矩阵。

方阵的逆

设A是数域上的一个n阶方阵，若在相同的数域上存在另一个n阶方阵B，使得AB=BA=E（E是单位矩阵），那么称B为A的逆矩阵，而A被称为可逆矩阵或者非奇异矩阵，如果A不存在逆矩阵，那么A称为奇异矩阵，A的逆矩阵记作 $A^{-1}$。
具有以下性质：
(1) 如果矩阵A是可逆的，那么矩阵A的逆矩阵是唯一的
(2)A的逆矩阵的逆矩阵还是A，记作 $(A^{-1})^{-1}=A$
(3)可逆矩阵A的转置矩阵 $A^T$ 也可逆，并且 $(A^T)^{-1}=(A^{-1})^T$
(4)若矩阵A可逆，则矩阵A满足消去律，即AB=AC可以得到B=C
(5)矩阵A可逆的充要条件是行列式 $|A|$ 不等于0

系数矩阵

如果向量组A乘以一个矩阵K得到向量组B，那么就说B可以由A和K线性表示，K就是系数矩阵。
$$(a_1,a_2,\cdots a_m)\cdot \begin{bmatrix}k_{11} &k_{12}& \cdots & k_{1n} \\k_{21} &k_{22}& \cdots & k_{2n} \\ \cdots & \cdots &\cdots &\cdots \\ k_{m1} &k_{m2}& \cdots & k_{mn} \end{bmatrix}=(b_1,b_2,b_3,\cdots b_n)$$

正交矩阵

若n阶方阵A满足 $A^TA=E$ ,（A的转置乘以A是个单位阵）则称A为正交矩阵，简称正交阵。
A是正交阵的充要条件是：A的列向量、行向量都是单位向量，且两两正交。
如A是正交矩阵，x是向量，则称Ax称为正交变换。
性质：
(1) 若A为 正交矩阵，那么A的逆矩阵 $A^{-1}$ 也是正交矩阵。
(2) 若P、Q是正交矩阵，那么P*Q也是正交矩阵。

对称矩阵

元素以对角线为对称轴，对应相等的矩阵就叫做对称矩阵。
对称矩阵的特性：
(1)对称矩阵中 $a_{ij}$ 等于 $a_{ji}$
(2)对称矩阵一定是方阵，并且对于任何的方阵A， $A+A^T$ 是对称矩阵。
(3)除对角线外的其他元素均为0的矩阵叫做 对角矩阵。
(4)矩阵中每个元素都是实数的对称矩阵叫做 实对称矩阵

正定矩阵

对于n阶方阵A，若任意n阶向量x，都有 $x^TAx>0$，则称矩阵A为正定矩阵。
若 $X^TAx>=0$ ,则矩阵A为半正定矩阵。
性质：
(1) 正定矩阵的任意主子矩阵也是正定矩阵
(2)若A为n阶正定矩阵，则A为n阶可逆矩阵。

4.特征值和特征向量

特征值

A为n阶矩阵，若数 $\lambda$ 和n维非0向量 $x$ 满足$Ax=\lambda x$，那么数 $\lambda$ 称为A的特征值。

特征向量

上面的 $x$ 称为A的对应于特征值$\lambda$ 的特征向量。

特征多项式

上面的 $|\lambda E-A|$ 叫做A的特征多项式。

5.奇异矩阵

如果方阵A的行列式的值等于0，那么方阵A叫做奇异矩阵，否则叫做非奇异矩阵。

非奇异矩阵$\iff$ 可逆矩阵：非奇异矩阵是可逆的，可逆的矩阵也是非奇异矩阵。

奇异矩阵的性质

(1)如果A为奇异矩阵，则Ax=0有无穷解，Ax=b有无穷解或者无解。
(2)如果A为非奇异矩阵，则Ax=0有且只有一个解，Ax=b有唯一解。

6.向量的导数

设$A$为$m*n$ 的矩阵，$x$ 为$n*1$ 的列向量，则$Ax$ 为$m*1$ 的列向量，记作$\vec{y}=A\cdot\vec{x}$ 。这里的$\vec{y}$ 跟$\vec{x}$ 是线性相关的。在机器学习里的线性回归中，会用到这个公式。

例如矩阵A为：

$$A=\begin{Bmatrix}a_{11} &a_{12}& \cdots & a_{1n} \\a_{21} &a_{22}& \cdots & a_{2n} \\ \cdots & \cdots &\cdots &\cdots \\ a_{m1} &a_{m2}& \cdots & a_{mn} \end{Bmatrix}$$

向量$\vec{x}$ 为：

$$\vec{x}=\begin{pmatrix}x_1\\x_2\\\cdots\\x_n\end{pmatrix}$$

那么$\vec{y}=A\vec{x}$ 为：

$$\vec{y}=\begin{pmatrix}a_{11}x_1+a_{12}x_2+\cdots +a_{1n}x_n \\a_{21}x_1+a_{22}x_2+\cdots +a_{2n}x_n \\ \cdots \\a_{m1}x_1+a_{m2}x_2+\cdots +a_{mn}x_n \\ \end{pmatrix}$$

如果将$A$ 看做多个样本，行$a_{11}、a_{12}、a_{1n}$等看做各个特征，$\vec{x}$ 是各个特征的权重系数，那么$\vec{y}$ 就是一个样本各个特征的加权和。

对函数$\vec{y}=A\cdot\vec{x}$ 求导结果就是：

$$\frac{\partial\vec y}{\partial\vec x}=\frac{\partial A\vec x}{\partial\vec x}=\begin{Bmatrix}a_{11} &a_{21}& \cdots & a_{m1} \\a_{12} &a_{22}& \cdots & a_{m2} \\ \cdots & \cdots &\cdots &\cdots \\ a_{1n} &a_{2n}& \cdots & a_{mn} \end{Bmatrix}=A^T$$
这个结果其实就是 $A$ 的转置 $A^T$。

总结结论

向量的偏导公式：
(1) 对 $\vec x$求 $A\vec x$ 的偏导，结果是 $A$ 的转置 。$\frac{\partial A\vec x}{\partial\vec x}=A^T$
(2)对 $\vec x$ 的转置求 $A\vec x$偏导，结果是 $A$本身。$\frac{\partial A\vec x}{\partial{\vec x}^T}=A$
(3) 对 $\vec x$求 ${\vec x}^T A$ 的偏导,结果是 $A$。$\frac{\partial ({\vec x}^TA)}{\partial\vec{x}}=A$

标量对向量的导数

如果 $A$ 为$n*n$ 的矩阵， $x$为$n*1$的列向量，记作 $y={\vec x}^T\cdot A\cdot\vec{x}$
可得： $$\frac{\partial y}{\partial\vec x}=\frac{\partial ({\vec x}^T\cdot A\cdot\vec x)}{\partial\vec x}=(A^T+A)\cdot\vec x$$
若 $A$ 为对称矩阵，则有$\frac{\partial({\vec x}^TA\vec x)}{\partial\vec x}=2A\vec x$

标量对方阵的导数

如果 $A$ 为$n*n$ 的矩阵， $|A|$ 为 $A$ 的行列式，计算 $\frac{\partial |A|}{\partial A}$。
$$\frac{\partial |A|}{\partial A}={(A^*)}^T=|A|\cdot {(A^{-1})}^T$$