[机器学习][数学基础]线性代数概括

线性(linear)指量(变量)与量(变量)之间按比例、成直线关系，在数 学上可以理解为一阶导数为常数的函数;而非线性(non-linear)是 指不成比例、没有直线关系，一阶导数不是常数的函数。
线性代数中的基本量指的是向量，基本关系是严格的线性关系;也
就是可以简单的将线性代数理解为向量与向量之间的线性关系的映
射。

1向量

• 向量:是指具有n个互相独立的性质(维度)的对象的表示，向量常
  使用字母+箭头的形式进行表示，也可以使用几何坐标来表示向量，
  比如 $\vec{a}=\overrightarrow{OP}=xi+yj+zk$ ，可以用坐标$(i,j,k)$表示向量$a$
• 向量的模:向量的大小，也就是向量的长度，向量坐标到原点的距离，常记作|a|
• 单位向量:长度为一个单位(即模为1)的向量就叫做单位向量

1.1向量的运算

设两向量为:$\vec{a}=(x_1,y_1),\vec{b}=(x_2,y_2)$

• 向量的加法/减法满足平行四边形法则和三角形法则
  $\vec{a}+\vec{b}=(x_1+x_2,y_1+y_2)$
  $\vec{a}-\vec{b}=(x_1-x_2,y_1-y_2)$
• 数乘:实数λ和向量a的乘积还是一个向量，记作λa，且|λa|= |λ| |a|;数乘 的几何意义是将向量a进行伸长或者压缩操作
  $\lambda \vec{a}=(\lambda x_1,\lambda y_1)$

设两向量为:$\vec{a}(x_1,y_1),\vec{b}=(x_2,y_2)$，并且a和b之间的夹角为$\theta$

• 数量积:两个向量的数量积(内积、点积)是一个数量/实数，记作 $\vec{a}\ast \vec{b}$
  $\vec{a}\ast \vec{b}=|\vec{a}|\ast |\vec{b}|\ast \cos \theta$
• 向量积:两个向量的向量积(外积、叉积)是一个向量，记作 $\vec{a}\ast \vec{b}$；向量积即两个不共线非零向量所在平面的一组法向量
  $|\vec{a}\ast \vec{b}|=|\vec{a}|\ast |\vec{b}|\ast \sin \theta$

1.2正交向量

正交向量:如果两个向量的点积为零，那么称这两个向量互为正交向量;在几何意义上来讲，正交向量在二维/三维空间上其实就是两 个向量垂直。
如果两个或者多个向量，它们的点积均为0，那么它们互相称为正交向量。

2矩阵

矩阵:即描述线性代数中线性关系的参数，即矩阵是一个线性变换， 可以将一些向量转换为另一些向量。
初等代数中，$y=ax$表示的是$x$到$y$的一种映射关系，其中$a$是描述这中关系的参数。
线性代数中，$Y=AX$表示的是向量$X$和$Y$的一种映射关系，其中$A$是描述这种关系的参数。

2.1矩阵的直观表示

数域$F$中$m\ast n$个数排成$m$行$n$列，并括以圆括弧(或方括弧)的数表示 成为数域$F$上的矩阵，通常用大写字母记作$A$或者$A_{m\ast n}$，有时也记作 $A=(a_{ij}{)}_{m\ast n}(i=1,2...,m;j=1,2,...n)$，其中$a_{ij}$表示矩阵$A$的第$i$行的第$j$列元素，当$F$为实数域$R$时，$A$叫做实矩阵，当$F$为复数域$C$时，$A$叫做复矩阵。
$$\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$

2.2矩阵与向量

当m=1或者n=1的时候，称A为行向量或者列向量
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\end{array}\right]$$
$$A=\left[\begin{array}{c}{a}_{11}\\ a_{21}\\ \cdots \\ a_{m1}\end{array}\right]$$

2.3矩阵相等

• 对于两个矩阵A和B，当他们行数相等，列数相同，并且对应位置上的元素都相等时，称矩阵A与B相等，记做A=B
• 即$a_{ij}=b_{ij}$，对所有i=1,2,…,m; j=1,2,…,n都成立
• 若两个矩阵行数列数分别相等，则为同型矩阵

2.4方阵

如果矩阵A中m等n，那么称矩阵A为n阶矩阵（或n阶方阵）。

蓝色是主对角线，黄色是次对角线

2.5负矩阵、上三角矩阵、下三角矩阵

对于矩阵A（所有元素m*n），各个元素取相反数得到的矩阵称为A的负矩阵，记为-A
对于矩阵A
$$A=\left[\begin{array}{cc}1& 2\\ 5& 6\end{array}\right]$$
的负矩阵为
$$A=\left[\begin{array}{cc}-1& -2\\ -5& -6\end{array}\right]$$
下、上三角矩阵：

2.6对角矩阵

既是上三角矩阵又是下三角矩阵的矩阵称为对角方阵或对角矩阵
记为：
$$D=diag\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{nn}\end{array}\right]$$

对角元的和${\Sigma }_{i=1}^n=a_{ii}$称为方阵A的迹，记为trA

2.7单位矩阵

单位矩阵：n阶方阵中除了主对角线上的元素外，其他元素均为0，主对角线元素均为1，那么此时的n阶方阵叫做n阶单位矩阵。单位矩阵通常用E或I表示
$$D=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& 0& \cdots & 1\end{array}\right]$$

2.8零矩阵

如果矩阵A中的所有元素(m*n个)均为0，那么此时矩阵A叫做零矩 阵，可以记作0。
$$D=\left[\begin{array}{cccc}0& 0& \cdots & 0\\ 0& 0& \cdots & 0\\ \cdots & \cdots & \cdots & \cdots \\ 0& 0& \cdots & 0\end{array}\right]$$

2.9矩阵的运算

2.9.1矩阵的加减法

矩阵的加法与减法要求进行操作的两个矩阵A和B具有相同的阶， 假设A为mn阶矩阵，B为mn阶矩阵，那么$C=A\pm B$也是m*n阶的矩阵，并且矩阵C的元素满足$c_{ij}=a_{ij}+b_{ij}$
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]B=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1n}\\ b_{21}& b_{22}& \cdots & b_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ b_{m1}& b_{m2}& \cdots & b_{mn}\end{array}\right]$$
$$C=A\pm B=\left[\begin{array}{cccc}{a}_{11}\pm b_{11}& a_{12}\pm b_{12}& \cdots & a_{1n}\pm b_{1n}\\ a_{21}\pm b_{21}& a_{22}\pm b_{22}& \cdots & a_{2n}\pm b_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{m1}\pm b_{m1}& a_{m2}\pm b_{m2}& \cdots & a_{mn}\pm b_{mn}\end{array}\right]$$

2.9.2矩阵与数的乘法

数乘:将数λ与矩阵A相乘，就是将数λ与矩阵A中的每一个元素相乘，记作λA;结果C=λA，并且C中的元素满足:$c_{ij}=\lambda a_{ij}$
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$
$$\lambda A=\left[\begin{array}{cccc}\lambda a_{11}& \lambda a_{12}& \cdots & \lambda a_{1n}\\ \lambda a_{21}& \lambda a_{22}& \cdots & \lambda a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ \lambda a_{m1}& \lambda a_{m2}& \cdots & \lambda a_{mn}\end{array}\right]$$

2.9.3矩阵与向量的乘法

假设A为mn阶矩阵，x为n1的列向量，则Ax为m*1的列向量，记作: $\vec{y}=A\vec{x}$

2.9.4矩阵与矩阵的乘法

矩阵的乘法仅当第一个矩阵A的列数和第二个矩阵B的行数相等时 才能够定义，假设A为ms阶矩阵，B为sn阶矩阵，那么C=AB是mn阶矩阵，并且矩阵C中的元素满足:$c_{ij}={\Sigma }_{k=1}^s{a}_{ik}{b}_{kj}$

2.9.4.1例子1

2.10注意

(1)只有当两个矩阵是同型矩阵时，才能进行加法运算.
(2)只有当第一个矩阵的列数等于第二个矩阵的行数时，两个矩阵才能相乘,且矩阵相乘不满足交换律.
(3)矩阵的数乘运算与行列式的数乘运算不同. (4)矩阵乘法中存在化零因子，而实数乘法中不存在化零因子。
(5)在实数运算系统中，$ax=0(a\ne 0)$方程有唯一解，等价的有消去律，矩阵乘法中没有，消去律不成立.

2.11矩阵的转置

矩阵的转置:把矩阵A的行和列互相交换所产生的矩阵称为A的转置矩阵，这一过程叫做矩阵的转置。 使用$A^T$ 表示A的转置
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$
$$A^T=\left[\begin{array}{cccc}{a}_{11}& a_{21}& \cdots & a_{m1}\\ a_{12}& a_{22}& \cdots & a_{m2}\\ \cdots & \cdots & \cdots & \cdots \\ a_{1n}& a_{2n}& \cdots & a_{mn}\end{array}\right]$$

2.11.1例子1

$$A=\left[\begin{array}{cc}1& 2\\ 5& 6\end{array}\right]$$
A的转置矩阵为
$$A=\left[\begin{array}{cc}1& 5\\ 2& 6\end{array}\right]$$

2.11.2转置的运算性质

$$\begin{gathered} (A^T{)}^T=A \\ (\lambda A{)}^T=\lambda A^T \\ (AB{)}^T=B^T{A}^T \\ (A+B{)}^T=A^T+B^T \end{gathered}$$

2.12方阵行列式

• 行列式是数学的一个函数，可以看作在几何空间中，一个线性变换 对“面积”或“体积”的影响。
• 方阵行列式，n阶方阵A的行列式表示为|A|或者det(A)
  • 1X1的方阵，其行列式等于该元素本身。$A=(a_{11})|A|=a_{11}$
  • 2X2的方阵，其行列式用主对角线元素乘积减去次对角线元素的乘积。

$$A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$$
$$|A|=a_{11}\ast a_{22}-a_{12}\ast a_{21}$$
方阵行列式，n阶方阵A的方阵行列式表示为|A|或者det(A)；n阶方阵A的行列式计算规则为:主对角线元素乘积和减去次对角线元素乘积和。设$r_i$为第i个主对角线的积，$l_i$为第i个次对角线的积。$0\le i\le n$
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$
$$\begin{gathered} r_i={\Pi }_{k=1}^i(a_{k(n+k-i)}\ast {\Pi }_{k=i+1}^n{a}_{k(k-1)}) \\ {l}_i={\Pi }_{k=1}^i(a_{k(n+k-i)}\ast {\Pi }_{k=i+1}^n{a}_{k(k-1)}) \\ |A|={\Sigma }_{i=1}^n{r}_i-{\Sigma }_{i=1}^n{l}_i \end{gathered}$$
根据方阵行列式的计算规则可以得到三阶方阵A的行列式为:
$$|A|={\Sigma }_{i=1}^3{r}_i-{\Sigma }_{i=1}^3{l}_i=a_{13}{a}_{21}{a}_{32}+a_{12}{a}_{23}{a}_{31}+a_{11}{a}_{22}{a}_{33}-a_{11}{a}_{23}{a}_{32}-a_{12}{a}_{21}{a}_{33}-a_{13}{a}_{22}{a}_{31}$$

2.13代数余子式

在一个n阶的行列式A中，把元素$a_{ij}(i,j=1,2,3,....,n)$所在的行和列划 去后，剩下的(n-1)2个元素按照原来的次序组成的一个n-1阶行列式 $M_{ij}$，称为元素$a_{ij}$的余子式。Mij带上符号$(-1{)}^{(i+j)}$称为$a_{ij}$的代数余子式， 记作:$A_{ij}=(-1{)}^{(i+j)}{M}_{ij}$

2.13.1例子1

$$\left[\begin{array}{ccc}3& 1& 4\\ -1& 2& -5\\ 1& 3& 0\end{array}\right]=1\ast \left[\begin{array}{cc}1& 4\\ 2& -5\end{array}\right]+3\ast (-1)\ast \left[\begin{array}{cc}3& 4\\ -1& -5\end{array}\right]=-13+3\ast 11=20$$

2.14伴随矩阵

对于n阶方阵的任意元素$a_{ij}$都有各自的代数余子式$A_{ij}=(-1{)}^{(i+j)}{M}_{ij}$
，将所有的代数余子式按照次序进行排列，可以得到一个n阶的方阵 A*;那么A称为矩阵A的伴随矩阵。
注意：$A_{ij}$位于A的第j行第i列
$$A\ast A^{\ast }=|A|\ast E=\left[\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & A_{n2}\\ \cdots & \cdots & \cdots & \cdots \\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}\right]$$

2.15方阵的逆

设A是数域上的一个n阶方阵，若在相同的数域上存在另一个n阶方阵B，使 得AB=BA=E，那么称B为A的逆矩阵，而A被称为可逆矩阵或非奇异矩阵。 如果A不存在逆矩阵，那么A称为奇异矩阵。A的逆矩阵记作:$A^{-1}$
具有以下性质:

• 如果矩阵A是可逆的，那么矩阵A的逆矩阵是唯一的。
• A的逆矩阵的逆矩阵还是A，记作$(A^{-1}{)}^{-1}=A$
• 可逆矩阵A的转置矩阵A也可逆，并且$(A^T{)}^{-1}=(A^{-1}{)}^T$
• 若矩阵A可逆，则矩阵A满足消去律，即AB=AC => B=C
• 矩阵A可逆的充要条件是行列式|A|不等于0

2.15.1例子1

求方阵
$$A=\left[\begin{array}{ccc}1& 2& 3\\ 2& 2& 1\\ 3& 4& 3\end{array}\right]$$
的逆矩阵
解：
$$\begin{gathered} \because |A|=\left|\begin{array}{ccc}1& 2& 3\\ 2& 2& 1\\ 3& 4& 3\end{array}\right|=1\ast 2\ast 3+2\ast 1\ast 3+3\ast 2\ast 4-3\ast 2\ast 3-1\ast 4\ast 1-3\ast 2\ast 2=2\ne 0, \\ \therefore A^{-1}存在。 \\ {A}_{11}=\left|\begin{array}{cc}2& 1\\ 4& 3\end{array}\right|=2, \\ {A}_{12}=-\left|\begin{array}{cc}2& 1\\ 3& 3\end{array}\right|=-3, \\ 同理可得A_{13}=2,A_{21}=6,A_{22}=-6,A_{23}=2,A_{31}=-4,A_{32}=5,A_{33}=-2, \\ 得A^{\ast }=\left|\begin{array}{ccc}2& 6& -4\\ -3& -6& 5\\ 2& 2& -2\end{array}\right|, \\ 故A^{-1}=\frac{1}{|A|}{A}^{\ast }=\frac{1}{2}\left[\begin{array}{ccc}2& 6& -4\\ -3& -6& 5\\ 2& 2& -2\end{array}\right]=\left|\begin{array}{ccc}1& 3& -2\\ -3/2& -3& 5/2\\ 1& 1& -1\end{array}\right| \end{gathered}$$

3矩阵的初等变换

下面三种变换称为矩阵的初等行变换:

• 对调两行(对调 i, j两行,记作 $r_i\leftrightarrow r_j$ )
• 以数 $k\ne 0$ 乘以某一行的所有元素;(第 i 行乘 k,记作$r_i\ast k$)
• 把某一行所有元素的 k 倍加到另一行对应的元素上去(第 j 行的 k 倍加到第 i 行上记作 $r_i+k{r}_j$ ).

定义：
矩阵的初等列变换与初等行变换统称为初等变换.
如果矩阵 A 经有限次初等变换变成 矩阵 B， 就称矩阵 A 与 B 等价，记作 A ~ B.

3.1等价关系的性质

(1) 自反性:A ~ A
(2) 对称性:若A ~ B，则B ~ A
(3) 传递性:若A ~ B,且B ~ C,则A ~ C

3.2等价标准形定理

用初等变换必能将任何一个矩阵化为如下等价标准形：
$$\left[\begin{array}{cc}{E}_r& O\\ O& O\end{array}\right]$$
等价标准形是唯一的。
设A与B为 m * n 矩阵，那么:

3.2.1例子1

设
$$A=\left[\begin{array}{ccc}2& -1& -1\\ 1& 1& -2\\ 4& -6& 2\end{array}\right]$$
的行最简形矩阵F，求可逆矩阵P使得PA=F
解：
$$(A,E)=\left[\begin{array}{cccccc}2& -1& -1& 1& 0& 0\\ 1& 1& -2& 0& 1& 0\\ 4& -6& 2& 0& 0& 1\end{array}\right]$$
$$\begin{gathered} (A,E)=\begin{array}{lc}\left[\begin{array}{cccccc}2& -1& -1& 1& 0& 0\\ 1& 1& -2& 0& 1& 0\\ 4& -6& 2& 0& 0& 1\end{array}\right]& \begin{array}{c}{r}_1\leftrightarrow r_2\\ r_3-2r_2\\ r_2-2r_1\end{array}\end{array}= \\ \begin{array}{lc}\left[\begin{array}{cccccc}1& 1& -2& 0& 1& 0\\ 0& -3& -3& 1& -2& 0\\ 0& -4& 4& -2& 0& 1\end{array}\right]& \begin{array}{c}{r}_2-r_3\\ r_1-r_2\\ r_3+4r_2\end{array}\end{array}= \\ \begin{array}{l}\left[\begin{array}{cccccc}1& 0& -1& -3& 3& 1\\ 0& 1& -1& 3& -2& -1\\ 0& 0& 0& 10& -8& -3\end{array}\right]\end{array} \end{gathered}$$
$$\begin{gathered} F=\left[\begin{array}{ccc}1& 0& -1\\ 0& 1& -1\\ 0& 0& 0\end{array}\right], \\ P=\left[\begin{array}{ccc}-3& 3& 1\\ 3& -2& -1\\ 10& -8& -3\end{array}\right] \end{gathered}$$
使$PA=F$

3.2.2例子2

设
$$A=\left[\begin{array}{ccc}0& -2& 1\\ 3& 0& -2\\ -2& 3& 0\end{array}\right]$$
证明A可逆，求$A^{-1}$
解：
对（A,E)做初等行变换化为（F，P），F为A的行最简行，如果F=E则A可逆，且$P=A^{-1}$

3.3矩阵的秩

在m*n矩阵A中，任取k行k列，不改变这$k^2$个元素的在A中的次序，得到k 阶方阵，称为矩阵A的k阶子式。

• $m\ast n$阶矩阵A的k阶子式有$C_m^k{C}_n^k$个
  设在矩阵A中有一个不等于0的r阶子式D，且所有r+1阶子式(如果存在)全 等于0，那么D称为矩阵A的最高阶非零子式，r称为矩阵A的秩，记作 R(A)=r
• n*n的可逆矩阵，秩为n
• 可逆矩阵又称为满秩矩阵
• 矩阵的秩等于它行(列)向量组的秩

3.3.1例子

求矩阵
$$B=\left[\begin{array}{ccccc}2& -1& 0& 3& -2\\ 0& 3& 1& -2& 5\\ 0& 0& 0& 4& -3\\ 0& 0& 0& 0& 0\end{array}\right]$$
的秩。
解：
$$\begin{gathered} \because B是一个行阶梯形矩阵，其非零行有3行 \\ \therefore B的所有4阶子式全部为0 \end{gathered}$$
而
$$\left|\begin{array}{ccc}2& -1& 3\\ 0& 3& -2\\ 0& 0& 4\end{array}\right|\ne 0\therefore R(B)=3$$

3.4向量组

向量组:有限个相同维数的行向量或列向量组合成的一个集合就叫做向量组
$A=({\vec{a}}_1,{\vec{a}}_2,....{\vec{a}}_n.....)$
向量组是有多个向量构成，可以表示为矩阵

3.4.1向量组等价

• 向量b能由向量组$A:a_1,a_2,...a_m$线性表示的充要条件为矩阵 $A=(a_1,a_2,...a_m)$的秩等于矩阵$B=(a_1,a_2,...a_m,b)$的秩。
• 设有两个向量组A:a1,a2,…am及B:b1,b2,…bm，若B组的向量都能由 向量组A线性表示，则称向量组B能由向量组A线性表示。若向量组 A和向量组B能相互线性表示，则称两个向量组等价。

3.4.2系数矩阵

将向量组A和B所构成的矩阵依次记作$A=(a_1,a_2,...a_m)$和$B=(b_1,b_2,...b_n)$，且组B能由向量组A线性表示。即对每个向量$b_j$，存
在$k_{1j},k_{2j},...,k_{mj}$ ;使得
$$b_j=k_{1j}{a}_1+k_{2j}a2+....+k_{mj}{a}_m=(a1a2.....a_m)\left[\begin{array}{c}{k}_{1j}\\ k_{2j}\\ \cdots \\ k_{mj}\end{array}\right]$$

3.4.3正交矩阵

• 若n阶方阵A满足$A^{T}A=E$，则称A为正交矩阵，简称正交阵
  • A是正交阵的充要条件:A的列(行)向量都是单位向量，且两两正交。
• 若A为正交矩阵，x为向量，则Ax称为正交变换。
  • 正交变换不改变向量的长度。
• 正交矩阵的性质:
  • 若A为正交矩阵，则逆矩阵$A^{-1}$也为正交矩阵
  • 若P、Q为正交矩阵，那么P*Q也为正交矩阵

3.4.4对称矩阵

元素以对角线为对称轴对应相等的矩阵就叫做对称矩阵
对称矩阵具有的特性:

• 对称矩阵中$a_{ij}$等于$a_{ji}$
• 对称矩阵一定是方阵;并且对于任何的方阵A，$A+A^T$是对称矩阵
• 除对角线外的其它元素均为0的矩阵叫做对角矩阵
• 矩阵中的每个元素都是实数的对称矩阵叫做实对称矩阵

4线性方程组

n元线性方程组$Ax=b$

• 无解的充分必要条件是$R(A)<R(A,b)$
• 有唯一解的充分必要条件是$R(A)=R(A,b)=n$
• 有无穷多解的充分必要条件是$R(A)=R(A,b)<b$

4.1求解线性方程组步骤

• 对于非齐次线性方程组，把它的增广矩阵B化为行阶梯型，从中可以看出R(A)和R(B)。若R(A)<R(B)，则方程无解。
• 若R(A) =R(B)，则进一步把B化成行最简形。而对于齐次线性方程组，则把系数矩阵A化成最简形。
• 设R(A)=R(B)=r，把最简形中的r个非零行的非零售元所对应的未知量取作非自由未知量，其余n-r个未知量取做自由未知量，并令其未知量分别等于$c_1,c_2,...c_{n-r}$，由 B（或A）的行最简形，即可写出含n-r个参数的通解。

4.1.2例子1

求解齐次线性方程组
$$f(x)=\{\begin{array}{l}{x}_1+2x_2+2x_3+x_4=0\\ 2x_1+x_2-2x_3-2x_4=0\\ x_1-x_2-4x_3-3x_4=0\end{array}$$

4.1.3例子2

求解非齐次线性方程组
$$f(x)=\{\begin{array}{l}{x}_1+2x_2+3x_3-x_4=1\\ 3x_1+x_2+5x_3-3x_4=2\\ 2x_1+x_2+2x_3-3x_4=3\end{array}$$
解：对增广矩阵只用行变换化阶梯形

最后一行对应的方程是:0 = 2 ,所以无解。

4.2两大基本定理

• n元齐次线性方程组$AX=0$有非零解的充分必要条件是$R(A)<n$
  • 当m<n时，齐次线性方程组$A_{m\ast n}x=0$一定有非零解
• 线性方程组$AX=0$有解的充要条件是$R(A)=R(A,b)$
• 矩阵方程$AX$有解的充要条件是$R(A)=R(A,B)$

4.3齐次方程组解的结构定理

齐次线性方程组的解集的最大无关组称为该齐 次线性方程组的基础解系.由上面的讨论可知,要求 齐次线性方程组的通解,只需求出它的基础解系.为 此,我们可用初等变换的方法来求齐次线性方程组 的基础解系.
齐次方程组 $A_{m\ast n}X=0$ 的基础解系所含向量个数为$n-r(r=R(A))$

4.3.1例子1

求
$$f(x)=\{\begin{array}{l}{x}_1+x_2-x_3-x_4=0\\ 2x_1-5x_2+3x_3+2x_4=0\\ 7x_1-7x_2+3x_3+x_4=0\end{array}$$
的基础解系和通解。
解： 对系数矩阵A作初等行变换,变为行最简形矩阵




注:由最大无关组的性质可知方程组(1)的任何$n-r$个线性无关的 解都可构成它的基础解系.从而齐次线性方程组的基础解系不唯一, 通解形式也不唯一.当$r=n$时，只有零解没有基础解系, s = { 0 } s=\{0\} s={0}

5特征值和特征向量

A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ称为A 的特征值，x称为A的对应于特征值λ的特征向量。并且|λE-A|叫做A 的特征多项式。当特征多项式等于0的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解。

5.1特征值和特征向量求解

求
$$A=\left[\begin{array}{cc}3& -1\\ -1& 3\end{array}\right]$$
的特征值和特征向量。
解：
A的特征多项式为
$$\begin{gathered} |A-\lambda E|=\left|\begin{array}{cc}3-\lambda & -1\\ -1& 3-\lambda \end{array}\right|=(3-{\lambda }^2)-1=8-6\lambda +{\lambda }^2= \\ (4-\lambda )(2-\lambda ) \end{gathered}$$
令$|A-\lambda E|=0得A的特征值为{\lambda }_1=2,{\lambda }_2=4$

6可对角化矩阵

如果一个n阶方阵A相似于对角矩阵，也就是，如果存在一个可逆 矩阵P使得$P^{-1}AP$是对角矩阵，则称矩阵A为可对角化矩阵。并且最 终对角矩阵的特征值就是矩阵A的特征值。
$$P^{-1}AP=\Lambda$$
矩阵对角化在PCA、白化等机器学习领域应用的比较多。于是对于矩阵是否可以对角化,判断如下:

• 由 $|A-\lambda E|=0\Rightarrow$求出所有的特征值${\lambda }_i$
• 如果所有的特征值都是单根,则A一定能对角化
• 如果A的特征值有重根,则对每个${\lambda }_i$,求齐次方程组$(A-{\lambda }_{i}E)X=0$的基础解析系，如果基础解系所含向量的个数等于${\lambda }_i$的重根数或等于$n-R(A-{\lambda }_{i}E)$，则A可以对角化且这些 基 础解系排成的矩阵为相似变换矩阵

6.1例子1

设
$$A=\left[\begin{array}{ccc}4& 6& 0\\ -3& -5& 0\\ -3& -6& 1\end{array}\right]$$
A能否对角化?若能对角化,则求出可逆矩阵P, 使$P^{-1}AP$为对角阵.
解:
$$|A-\lambda E|=\left[\begin{array}{ccc}4-\lambda & 6& 0\\ -3& -5-\lambda & 0\\ -3& -6& 1-\lambda \end{array}\right]=-(\lambda -1{)}^2(\lambda +2)$$
所以A的全部特征值为${\lambda }_1={\lambda }_2=1,{\lambda }_3=-2$
将${\lambda }_1={\lambda }_2=1$代入$(A-\lambda E)x=0$得方程组
解之得基础解系:
$$\begin{gathered} {\zeta }_1=\left(\begin{array}{c}-2\\ 1\\ 0\end{array}\right), \\ {\zeta }_2=\left(\begin{array}{c}0\\ 0\\ 1\end{array}\right), \end{gathered}$$
将${\lambda }_3=2$代入$(A-\lambda E)x=0$得方程组的基础
解系：
$${\zeta }_3=(-1,1,1{)}^T$$
由于 ${\zeta }_1,{\zeta }_2,{\zeta }_3$ 线性无关. 所以 A 可对角化.
令
$$P=({\zeta }_1,{\zeta }_2,{\zeta }_3)=\left[\begin{array}{ccc}-2& 0& -1\\ 1& 0& 1\\ 0& 1& 1\end{array}\right]$$
则有
$$P^{-1}AP=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -2\end{array}\right]$$
即矩阵 P 的列向量和对角矩阵中特征值的位置 要相互对应.

7正定矩阵

• 对于n阶方阵A，若任意n阶向量x，都有$x^{T}Ax>0$，则称矩阵A为正
  定矩阵。
• 若$x^{T}Ax>=0$，则矩阵A为半正定矩阵。

8奇异矩阵

• 若方阵A的行列式的值等于0，那么方阵A叫做奇异矩阵，否则叫做 非奇异矩阵。
• 可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。
• 若A为奇异矩阵，则Ax=0有无穷解，Ax=b有无穷解或者无解。
• 若A为非奇异矩阵，则Ax=0有且只有唯一零解，Ax=b有唯一解。

9QR分解

• 对于m*n的列满秩矩阵A，必有:$A_{m\ast n}=Q_{m\ast n}\ast R_{m\ast n}$
• 其中Q为正交矩阵，R为非奇异上三角矩阵，当要求R的对角线元素 为正的时候，该分解唯一。
• 该分解叫做QR分解，常用于求解A的特征值、A的逆等问题。
• QR分解是将矩阵分解为一个正交矩阵与上三角矩阵的乘积
• 这其中，Q为正交矩阵，$Q^{T}Q=I$，R为上三角矩阵
• 实际中，QR分解被用来解线性最小二乘问题

10SVD

• 奇异值分解(Singular Value Decomposition)是一种重要的矩阵分 解方法，可以看做是对称方阵在任意矩阵上的推广。
• 假设A为一个m*n阶实矩阵，则存在一个分解使得:
  $A_{m\ast n}=U_{m\ast m}{\sum }_{m\ast n}{V}_{n\ast n}^T$
  • 通常将奇异值由大到小排列，这样Σ便能由A唯一确定了.
• 与特征值、特征向量的概念相对应，则:
  • Σ对角线上的元素称为矩阵A的奇异值
  • U和V称为A的左/右奇异向量矩阵