人工智能数学基础之线性代数(一)_线性代数人工智能-CSDN博客

本文链接：https://blog.csdn.net/yjw123456/article/details/99634207

前言

本文只会记录人工智能中所用到的线性代数知识，并不会记录大学线性代数教材中的所有知识。

现在CSDN不能发超长的文章了，只能分成多篇发布。

人工智能数学基础之线性代数(一)
人工智能数学基础之线性代数(二)
人工智能数学基础之线性代数(三)

标量

只有大小没有方向的量称为标量。

单个数字就是标量。

向量

所谓的向量就是一组数字，可以用 $v$ 来表示
$\left[\begin{matrix}1 \\2 \\3 \end{matrix} \right]$ 或 $v = [123]$

当两个向量大小相等、方向相同时，说这两个向量相等。

这里由3个数组成，叫做3维向量，相应的，由n个数组成的称为n维向量。

左边排成一列的形式叫做列向量；右边叫做行向量

$v_i$ 表示向量中的第 $i$ 个元素，本例中 $v_1 =1,v_2 = 2,v_3 = 3$

在这里插入图片描述

3维向量可以在3维空间中表示出来。

向量的长度

n维向量 $\alpha = (a_1,a_2,...,a_n)$ ，数值 $\sqrt{a_1^2 + a_2^2 + ... + a_n^2}$ 称为向量 $\alpha$ 的长度或模，记为 $\left \| \alpha \right \|$

$\left \| \alpha \right \| = 1$ 称 $\alpha$ 为单位向量。

向量的运算

向量的加法：
在这里插入图片描述

向量的减法：
在这里插入图片描述

注意 $\vec{a} - \vec{b}$ 得到的向量为 $\vec{b}$ 指向 $\vec{a}$ 。

向量的乘法：
在这里插入图片描述

$\vec{a} \cdot \vec{b} = | \vec{a} | \cdot |\vec{b}| \cos \theta$

相当于向量 $\vec{b}$ 在向量 $\vec{a}$ 的方向的投影与向量 $\vec{a} |$ 相乘

向量的范数

向量的1-范数： $\left \| X \right \|_1 = |x_1| +|x_2| + ... + |x_n|$ ；各元素的绝对值之和
向量的2-范数： $\left \| X \right \| = \sqrt{x_1^2 + x_2^2 + ... + x_n^2}$ ；每个元素的平方和再开方，也就是n维向量的长度；
向量的无穷范数： $\left \| X \right \|_\infty = \max(|x_1|,|x_2|,...,|x_n|)$ ；分量绝对值的最大者
向量的p-范数： $\left \| X \right \|_p = (\sum_{i=1}^n |x_i| ^ p)^{\frac{1}{p}} , (1 \leq p \leq n)$

对于2-范数有： $\geq || x + y||$

当 $||\vec{x}||$ ≠ $0$ ， $||\vec{y}||$ ≠ $0$ 时，称
$\theta = \arccos \frac{ \vec{a} \cdot \vec{y}}{||\vec{x}|| || \vec{y}||}$
为向量 $\vec{x}$ 与 $\vec{y}$ 的夹角。

向量的内积

设有n维向量
$\vec{x} = \left[ \begin{matrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{matrix} \right], \vec{y} = \left[ \begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{matrix} \right],$

令 $[\vec{x},\vec{y}] = \sum_{i=1}^n x_i y_i = x_1y_1 + x_2y_2 + \cdots+ x_ny_n$
上式称为向量的内积，内积的结果是一个标量。

这里要求一维向量 $\vec{x}$ 和向量 $\vec{y}$ 的行列数相同。

当 $[\vec{x},\vec{y}] = 0$ 时，称向量 $\vec{x}$ 和向量 $\vec{y}$ 正交。

一组两两相交的非零向量，称为正交向量组。

向量组

若干个同维的列向量(行向量)所组成的集合称为向量组。
如 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$

$\left[ \begin{matrix} a_{11} & a_{21} & \cdots & a_{m1}\\ a_{12} & a_{22} & \cdots & a_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1n} & a_{2n} & \cdots & a_{mn} \end{matrix} \right]$

向量组的线性组合：
对于向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$ ，如果有一组数 $k_1,k_2,\cdots,k_n$ ，使
$\vec{\beta} = k_1 \vec{a_1} + k_2\vec{a_2} + \cdots + k_n\vec{a_n},$
则称向量 $\vec{\beta}$ 是向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$ 的一个线性组合，或称 $\vec{\beta}$ 可由向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$ 线性表示。

向量组的线性相关：

给定向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$ ，如果存在不全为零的数 $k_1,k_2,\cdots,k_n$ 使
$k_1\vec{a_1} + k_2\vec{a_2} + \cdots + k_n\vec{a_n} = 0$

则称向量组 $A$ 是线性相关的，否则称它为线性无关。

对于任一向量组，不是线性无关就是线性相关。

向量空间

设 $V$ 是 $n$ 维实向量构成的集合，对于向量的加法运算及数乘运算满足：

任意 $\alpha \in V,\beta \in V$ ，有 $\alpha + \beta \in V$ ；
任意 $\alpha \in V, k \in R$ ，有 $k\alpha \in V$

则称集合 $V$ 为 $R$ 上的实向量空间，简称向量空间。

已知 $V_1,V_2$ 是向量空间，若 $V_1 \in V_2$ ，则称 $V_1$ 是 $V_2$ 的子空间。

向量集合的张成

定义令 $v_1,v_2,\cdots,v_n$ 为向量空间 $V$ 中的向量。 $\alpha_1 v_1 + \alpha_2 v_2 + \cdots + \alpha_n v_n$ (其中 $\alpha_1,\alpha_2,\cdots,\alpha_n$ 为标量)称为向量 $v_1,v_2,\cdots,v_n$ 的线性组合。

向量 $v_1,v_2,\cdots,v_n$ 的所有线性组合构成的集合，称为 $v_1,v_2,\cdots,v_n$ 的张成(Span)。向量 $v_1,v_2,\cdots,v_n$ 的张成记为 $\text{Span}(v_1,v_2,\cdots,v_n)$ 。

向量空间的基

设 $V$ 是一个向量空间，如果存在一组向量 $\alpha_1,\alpha_2,\cdots,\alpha_r \in V$ ，满足：

$\alpha_1,\alpha_2,\cdots,\alpha_r$ 线性无关；
$V$ 中任意一组向量都可以由该向量组线性表示，则称 $\alpha_1,\alpha_2,\cdots,\alpha_r$ 为向量空间 $V$ 的一组基；

线性无关：如果向量空间 $V$ 中的向量 $v_1,v_2,\cdots,v_n$ 满足
$c_1 v_1 + c_2 v_2 + \cdots + c_n v_n = 0$
就可以推出所有标量 $c_1,\cdots,c_n$ 必为0，则称它们为线性无关的。

标准基

集合 ${e_1,e_2,e_3\}$ 为 $R^3$ 的标准基。之所以称这个基为标准基，使用因为使用这个基表示向量空间 $R^3$ 最自然。更一般地， $R^n$ 的标准基集为集合 $\{e_1,e_2,\cdots,e_n\}$ 。

其中单位矩阵 $I$ 的第 $j$ 列向量的记为 $e_j$ 。具体可见下面单位矩阵的定义。

行列式

行列式的引入

用消元法解二元线性方程组
$\begin{cases} a_{11}x_1 + a_{12}x_2 = b_1, \\ a_{21}x_1 + a_{22}x_2 = b_2. \end{cases} \tag{1}$
为消去未知数 $x_2$ ，以 $a_{22}$ 与 $a_{12}$ 分别乘上列两方程的两端，然后两个方程相减，得
$a_{11}a_{22}x_1 + \bcancel{a_{12}a_{22}x_2} - a_{12}a_{21}x_1 - \bcancel{a_{12}a_{22}x_2} = b_1a_{22} - a_{12}b_2 \\ (a_{11}a_{22}-a_{12}a_{21})x_1 = b_1a_{22} - a_{12}b_2$
类似地，消去 $x_1$ ，得
$a_{11}a_{22} - a_{12}a_{21})x_2 = a_{11}b_2 - b_1a_{21}$
当 $a_{11}a_{22} - a_{12}a_{21} \neq 0$ 时，求得方程组 $(1)$ 的解为
$x_1 = \frac{b_1a_{22}-a_{12}b_2 }{a_{11}a_{22} - a_{12}a_{21}}, \quad x_2 = \frac{a_{11}b_2 - b_1a_{21}}{a_{11}a_{22} - a_{12}a_{21}} \tag{2}$
其中分母是由方程组 $(1)$ 的四个系数确定的，把这四个数按它们在方程组中的位置，排列成二行二列的数表
$\begin{matrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{matrix}, \tag{3}$
表达式 $a_{11}a_{22} - a_{12}a_{21}$ 称为数表 $(3)$ 所确定的 $\color{blue}{二阶行列式}$ ，并记作
$\begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix}. \tag{4}$
数 $a_{ij}(i=1,2;j=1,2)$ 称为行列式 $(4)$ 的元素或元。位于第 $i$ 行第 $j$ 列的元素称为行列式 $(4)$ 的 $(i, j)$ 元。

二阶行列式的定义，可以用对角线法则来记忆，比如写一个字母``X，先写`，为主对角线；再写/，为副对角线。二阶行列式就是主对角线上的两元素之积减去副对角线两元素之积。

利用二阶行列式的概念， $(2)$ 式中 $x_1,x_2$ 的分子也可以写成二阶行列式，即
$b_1a_{22} -a_{12}b_2 =\begin{vmatrix} b_1 & a_{12} \\ b_2 & a_{22} \end{vmatrix},\quad a_{11}b_2 -b_1a_{21} =\begin{vmatrix} a_{11} & b_1 \\ a_{21} & b_2 \end{vmatrix}.$
若记
$\begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix}, \quad D_1 = \begin{vmatrix} b_1 & a_{12} \\ b_2 & a_{22} \end{vmatrix}, \quad D_2 = \begin{vmatrix} a_{11} & b_1 \\ a_{21} & b_2 \end{vmatrix},$
那么 $(2)$ 式可写成
$x_1 = \frac{D_1}{D} = \frac{\begin{vmatrix} b_1 & a_{12} \\ b_2 & a_{22} \end{vmatrix}}{\begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix}},\quad x_2 = \frac{D_2}{D} = \frac{\begin{vmatrix} a_{11} & b_1 \\ a_{21} & b_2 \end{vmatrix}}{\begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix}}$

这里的分母 $D$ 是由方程组 $(1)$ 的系数所确定的二阶行列式， $x_1$ 的分子 $D_1$ 是用常数项 $b_1,b_2$ 替换 $D$ 中 $x_1$ 的系数 $a_{11},a_{21}$ 所得的二阶行列式；

$x_2$ 的分子 $D_2$ 是用 $b_1,b_2$ 替换 $D$ 中 $x_2$ 的系数 $a_{12},a_{22}$ 所得的二阶行列式。

定义设有9个数排成3行3列的数表
$\begin{matrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{matrix}, \tag{5}$
记
$\begin{vmatrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{vmatrix} = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} +a_{13}a_{21}a_{32} \\ \qquad\qquad\qquad\qquad- a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33} - a_{13}a_{22}a_{31} \tag{6}$
式 $(6)$ 称为数表 $(5)$ 所确定的三阶行列式。

上述定义表面三阶行列式含6项，每项均为不同行不同列的三个元素的乘积再冠以正负号。

虽然三阶行列式也适用于对角线法则，为了研究四阶及更高阶行列式，下面先介绍有关全排列的知识。

逆序数

对于 $n$ 个不同的元素，在这 $n$ 个元素的任一排列中，当某两个元素的先后次序与标准次序(比如可规定由小到大为标准次序)不同时，就说有1个逆序。一个排列中所有逆序的总数叫做这个排列的逆序数。

逆序数为技术的排列叫做奇排列，逆序数为偶数的排列叫做偶排列。

设 $n$ 个元素为 $1$ 至 $n$ 这 $n$ 个自然数，并规定由小到大为标准次序。设
$p_1p_2\cdots p_n$
为这 $n$ 个自然数的一个排列，考虑元素 $p_i(i=1,2,\cdots,n)$ ，如果比 $p_i$ 大的且排在 $p_i$ 前面的元素有 $t_i$ 个，就说 $p_i$ 这个元素的逆序数是 $t_i$ 。全体元素的逆序数之总和
$t_1 + t_2 + \cdots + t_n = \sum_{t=1}^n t_i,$
即使这个排列的逆序数。

来看一个例子理解。

例求排列32514的逆序数

解在排列32514中：

3排在首位，逆序数为0
2的前面比2大的数有一个(3)，逆序数为1
5是最大数，逆序数为0
1的前面比1大的数有三个(3,2,5)，逆序数为3
4的前面比4大的数有一个(5)，逆序数为1，于是这个排列的逆序数为
$t = 0 + 1 + 0 + 3 + 1 = 5$

n阶行列式的定义

为了给出 $n$ 阶行列式的定义，先来研究三阶行列式的结构。三阶行列式定义为
$\begin{vmatrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{vmatrix} = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} +a_{13}a_{21}a_{32} \\ \qquad\qquad\qquad\qquad- a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33} - a_{13}a_{22}a_{31}$

容易看出：

上式右边的每一项都恰是三个元素的乘积，这三个元素位于不同的行、不同列。因此，上式右端的任一项除正负号外可以写成 $a_{1p_1}a_{2p_2}a_{3p_3}$ 。这里第一个下标(行标)排成标准次序123，而第二下标(列标)排成 $p_1p_2p_3$ ，它是1,2,3三个数的某个排列。这样的排列共有6中，对应上式右端共有6项。
各项的正负号与列标的排列对照
- 带正号的三项列标排列是123,231,312
- 带负号的三项列标排列是132,213,321

经计算可知前三个排列都是偶排列，后三个排列都是奇排列。因此各项所带的正负号可以表示为 $1)^t$ ，其中 $t$ 为列标排列的逆序数。

总之，三阶行列式可以写成
$\begin{vmatrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{vmatrix} = \sum (-1)^t a_{1p_1}a_{2p_2}a_{3p_3},$
其中 $t$ 为排列 $p_1p_2p_3$ 的逆序数， $\sum$ 表示对1,2,3三个数的所有排列 $p_1p_2p_3$ 去和。

仿此，可以把行列式推广到一般情形。

定义设有 $n^2$ 个数，排成 $n$ 行 $n$ 列的数表
$\begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots &\cdots & \cdots & \cdots \\ a_{n1} & a_{n2} & \cdots & a_{nn}\\ \end{vmatrix},$
作出表中位于不同行不同列的 $n$ 个数的乘积，并冠以符号 $1)^t$ ，得到形如
$(-1)^t a_{1p_1}a_{2p_2}\cdots a_{np_n} \tag{7}$
的项，其中 $p_1p_2\cdots p_n$ 为自然数 $1,2,\cdots,n$ 的一个排列， $t$ 为这个排列的逆序数。

由于这样的排列共有 $n!$ 个，因为形如 $(7)$ 式的项共有 $n!$ 个。所有这 $n!$ 项的代数和
$\sum (-1)^t a_{1p_1}a_{2p_2} \cdots a_{np_n}$
称为 $n$ 阶行列式，记作
$\begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots &\cdots & \cdots & \cdots \\ a_{n1} & a_{n2} & \cdots & a_{nn}\\ \end{vmatrix},$
简记作 $det(a_{ij})$ ，其中数 $a_{ij}$ 为行列式 $D$ 的 $(i, j)$ 元。

例5 证明 $n$ 阶行列式
$\begin{vmatrix} \lambda_1 & & & \\ & \lambda2 && \\ & & \ddots & \\ & & & \lambda_n\\ \end{vmatrix} = \lambda_1\lambda_2 \cdots \lambda_n, \\ \begin{vmatrix} & & &\lambda_1 \\ & &\lambda2& \\ & \cdots & & \\ \lambda_n & & & \\ \end{vmatrix} = (-1)^{\frac{n(n-1)}{2}} \lambda_1\lambda_2 \cdots \lambda_n$

其中为写出的元素都是0。

证第一式左端称为对角行列式，只能取不同行不同列，我们只考虑非零的情况。第 $1$ 行只能取第 $1$ 列，第二行只能取第 $2$ 列， $\cdots$ ,第 $n$ 行只能取第 $n$ 列，最终结果很显然。

第二式第 $1$ 行只能取第 $n$ 列，对应的是 $a_{1n}$ ，第 $2$ 行只能取第 $n - 1$ 列，对应 $a_{2n-1}$ ， $\cdots$ ,第 $n$ 行只能取第 $1$ 列，对应 $a_{n1}$ 。

列标的排列为
$n(n-1)\cdots 2\,1$
所以，逆序数 $t$ 为
$\cdots + (n-1) = \frac{n(n-1)}{2}$
例6 证明下三角形行列式
$\begin{vmatrix} a_{11} & & & 0 \\ a_{21} & a_{22} && \\ \vdots & \vdots & \ddots & \\ a_{n1} & a_{n2} &\cdots & a_{nn}\\ \end{vmatrix} = a_{11}a_{22}\cdots a_{nn}.$
第 $1$ 行只能取第 $1$ 列，第二行只能取第 $2$ 列， $\cdots$ ,第 $n$ 行只能取第 $n$ 列，并且列标是
$12 \cdots n$
逆序数为 $0$ ， $1)^0=1$