机器学习之重温线性代数

一、矩阵的基本概念和意义

定义1 由$m\times n$个数$a_{ij}$($i=1,2,...m$;$j=1,2...n$)排成$m$行$n$列的数表

$$\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& ⋮& a_{mn}\end{array}$$
称为$m$行$n$l列矩阵，简称$m\times n$矩阵，为表示它是一个整数，总是加一个括弧，并用大写黑体字母表示它，记作

$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& ⋮& a_{mn}\end{array}\right]$$

这$m\times n$个数称为矩阵$A$的元素，简称元。数$a_{ij}$位于矩阵的第$i$行第$j$列，称为矩阵$A$的$(i,j)$元，以数$a_{ij}$为$(i,j)$元的矩阵可简记为$(a_{ij})$或$(a_{ij}{)}_{m\times n}$,$m\times n$矩阵$A$也记作$A_{m\times n}$。

什么时候是方阵呢？就是当$m=n$的时候。

什么是行向量呢？就是当$m=1$

什么是列向量呢？就是当$n=1$

什么是两个矩阵相等呢？ 就是两个矩阵对应的元素相等

什么是零矩阵？就是矩阵所有的元素都为0

探讨矩阵的意义

1、一种线性变换

$$\{\begin{array}{c}{y}_1=a_{11}\times x_1+a_{12}\times x_2+\cdots +a_{1n}\times x_n\\ y_2=a_{21}\times x_1+a_{22}\times x_2+\cdots +a_{2n}\times x_n\\ \cdots \\ y_m=a_{m1}\times x_1+a_{m2}\times x_2+\cdots +a_{mn}\times x_n\end{array}$$
表示一个从变量$x_1,x_2,\cdots x_n$到变量$y_1,y_2,\cdots y_m$的线性变换，其中系数$a_{ij}$构成矩阵$A=(a_{ij}{)}_{m\times n}$

恒等变换就是矩阵$A$为单位矩阵

对角矩阵即除了对角之外，其他元素都为零

2、加法与数乘

定义2， 设有两个$m\times n$矩阵$A=(a_{ij})$和矩阵$B=(b_{ij})$，那么矩阵$A$与矩阵$B$的和记作$A+B$,规定为

$$A+B=\left[\begin{array}{cccc}{a}_{11}+b_{11}& a_{12}+b_{12}& \cdots & a_{1n}+b_{1n}\\ a_{21}+b_{21}& a_{22}+b_{22}& \cdots & a_{2n}+b_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}+b_{m1}& a_{m2}+b_{m2}& \cdots & a_{mn}+b_{mn}\end{array}\right]$$

设$A,B,C$都是$m\times n$的矩阵，满足加法运算律

$(A+B)=(B+A)$

$(A+B)+C=A+(B+C)$

注意:只有当两个矩阵是同型矩阵时，这两个矩阵才可以进行加法运算

定义3，数$\lambda$与矩阵$A$的乘积记作$\lambda A$或者$A\lambda$，规定为
$$\lambda A=A\lambda =\left[\begin{array}{cccc}\lambda a_{11}& \lambda a_{12}& \cdots & \lambda a_{1n}\\ \lambda a_{21}& \lambda a_{22}& \cdots & \lambda a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ \lambda a_{m1}& \lambda a_{m2}& \cdots & \lambda a_{mn}\end{array}\right]$$

设$\lambda ,\mu \in R$,$A$为$m\times n$矩阵，
满足以下规律

(i) $(\lambda \mu )A=\lambda (\mu )A$

(ii)$(\lambda +\mu )A=\lambda A+\mu A$

(iii)$\lambda (A+B)=\lambda A+\lambda B$

3.矩阵的乘法

定义4 设$A=\left(a_{ij}\right)$是一个$m\times s$矩阵，$B=\left(b_{ij}\right)$是一个$s\times n$的矩阵，那么规定矩阵$A$与矩阵$B$的乘积是一个$m\times n$矩阵$C=\left(c_{ij}\right)$,
其中

$c_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{is}{b}_{sj}={\sum }_{k=1}^s{a}_{ik}{b}_{sk}$
$(i=1,2,\cdots m;j=1,2\cdots n)$,

并把这次成绩记作$C=A\times B$

设有矩阵$A,B,C$，则满足规律

(i)$(AB)C=A(BC)$

(ii)$\lambda (AB)=(\lambda A)B=A(\lambda B)$

(iii)$A(B+C)=AB+AC,(B+C)A=BC+CA$

二、矩阵运算在深度学习中的应用(初级)

1.数字图像识别

输入一张为数字(0-9)的图片，大小为$10\times 10$，下面图片也可以体现出矩阵是一种特征空间的变换

单样本：
$$(x_1,x_2,\cdots ,x_{100})w_1=(y_1,y_2,\cdots ,y_{512})$$
$$(z_1,z_2,\cdots ,z_{512})w_2=(O_1,O_2,\cdots ,O_{10})$$

关于$relu$函数如下：

$$relu(x)=\{\begin{array}{cc}x& x>0\\ 0& x⩽0\end{array}$$

$n$个样本：
$$\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1,100}\\ ⋮& ⋮& & ⋮\\ & & & \\ x_{n1}& x_{n2}& \cdots & x_{n,100}\end{array}\right]w_1=\left[\begin{array}{cccc}{y}_{11}& y_{12}& \cdots & y_{1,512}\\ ⋮& ⋮& & ⋮\\ & & & \\ y_{n1}& y_{n2}& \cdots & y_{n,512}\end{array}\right]$$

$$\left[\begin{array}{cccc}{z}_{11}& z_{12}& \cdots & x_{1,512}\\ ⋮& ⋮& & ⋮\\ & & & \\ z_{n1}& z_{n2}& \cdots & z_{n,512}\end{array}\right]w_2=\left[\begin{array}{cccc}{O}_{11}& O_{12}& \cdots & O_{1,10}\\ ⋮& ⋮& & ⋮\\ & & & \\ O_{n1}& O_{n2}& \cdots & O_{n,10}\end{array}\right]$$

2.矩阵的迹，矩阵的转置，对称矩阵(协方差矩阵)

1.矩阵的迹

定义： 在线性代数中，一个$n\times n$的矩阵$A$的主对角线(从左上方至右下方的对角线)上各个元素的总和被称为矩阵$A$的迹(或迹数)，一般记作$tr(A)$
$$tr(A)=\sum _{i=1}^n{a}_{ii}$$

结论 $\$$tr(AB)=TR(AB)$对于满足矩阵乘法条件(型号匹配的)任意$A_{m\times n}$、$B_{n\times m}$均成立。

证明

设 $C=(AB{)}_{m\times m}$ , $D=(BA{)}_{n\times n}$

所以，$tr(AB)={\sum }_{i=1}^m{c}_{ii}={\sum }_{i=1}^m{\sum }_{s=1}^n{a}_{is}{b}_{si}$
同时，$tr(BA)={\sum }_{i=1}^n{d}_{ii}={\sum }_{s=1}^n{\sum }_{i=1}^m{b}_{si}{a}_{is}$
又因为求和可交换，则最后可得$tr(AB)=tr(BA)$

2.矩阵的转置

定义: 把矩阵$A$的行换成同序数的列得到的一个新矩阵，叫做矩阵的转置，记作$A^T.$

性质：(i)$(A^T{)}^T=A$
(ii)$(A+B{)}^T=A^T+B^T$
(iii)$(\lambda A{)}^T=\lambda A^T$
$(AB{)}^T=B^T{A}^T$

3.对称矩阵

定义： 设$A$为n阶方阵，如果满足$A^T=A$,即$a_{ij}=a_{ji},(i,j=1,2,\cdots ,n)$那么称$A$为对称矩阵.

4.协方差矩阵

$N$个样本，每个样本的特征的维度为$n$,容易证明协方差矩阵是对称矩阵

设$X={\left(\begin{array}{c}{x}_1^T\\ ⋮\\ x_N^T\end{array}\right)}_{N\times n}$,$X^T={\left(\begin{array}{c}{x}_1,x_2,\cdots ,x_N\end{array}\right)}_{n\times N}$

$X^{T}X$为样本的协方差矩阵。

3.行列式的引入

定义: 关于行列式的引入可从解方程的角度去看，例如二阶行列式，采用消元法解二元线性方程组,具体此处省略.
$\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|=ad-bc$为二阶行列式

1.特殊矩阵的行列式

$$\left|\begin{array}{cccc}{\lambda }_{11}& & & \\ & {\lambda }_{22}& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right|={\lambda }_1{\lambda }_2\cdots {\lambda }_n$$
$$\left|\begin{array}{cccc}& & & {\lambda }_1\\ & & {\lambda }_2& \\ & \cdots & & \\ {\lambda }_n& & & \end{array}\right|=(-1{)}^{\frac{n(n-1)}{2}}{\lambda }_1{\lambda }_2\cdots {\lambda }_n$$

$$D=\left|\begin{array}{cccc}{a}_{11}& \cdots & \cdots & 0\\ a_{21}& a_{22}& & \\ ⋮& ⋮& \ddots & \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|=a_{11}{a}_{22}\cdots a_{nn}$$

2.行列式的性质

(1) 行列式与它的转置行列式相等

(2)互换行列式的两行(列)，行列式变号。

推论: 如果行列式有两行(行列)完全相同，则次行列式为零。

(3)行列式的某一行(列)中所有元素都乘以同一数$k$，等于用$k$乘以此行列式.

(4) 行列式中如果两行(列)的元素成比例，则此行列式等于零。

(5) 把行列式的某一行（列）的各元素乘以同一数然后加到另一行(列)的元素上去，h行列式不变。

(6) $\left|\begin{array}{ccccccc}{a}_{11}& \cdots & a_{1k}& & & & \\ ⋮& & ⋮& & & & \\ a_{k1}& \cdots & a_{kk}& & & & \\ c_{11}& \cdots & c_{1k}& b_{11}& \cdots & a_{1n}& \\ ⋮& & ⋮& ⋮& & ⋮& \\ c_{n1}& \cdots & c_{nk}& b_{n1}& \cdots & b_{nn}& \end{array}\right|$

$D_1=det(a_{ij})=\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{1k}\\ ⋮& & ⋮\\ a_{k1}& \cdots & a_{kk}\end{array}\right|D_2=\left|\begin{array}{ccc}{b}_{11}& \cdots & b_{1k}\\ ⋮& & ⋮\\ b_{n1}& \cdots & b_{nn}\end{array}\right|$
\qquad 那么$D=D_1{D}_2$

(7)$\left|\begin{array}{c}AB\end{array}\right|=\left|\begin{array}{c}A\end{array}\right|\left|\begin{array}{c}B\end{array}\right|$

3.行列式按行(列)展开，代数余子式

降阶处理，用低阶的行列式来算高阶的行列式

在$n$阶行列式，把$(i,j)$元$a_{ij}$的第$i$行和第$j$列划去以后，留下来的$n-1$阶行列式叫做$(i,j)$元$a_{ij}$余子式，记作$M_{ij}$，记
$$A_{ij}=(-1{)}^{i+j}{M}_{ij}$$

$A_{ij}$叫做$a_{ij}$的代数余子式

引理： 一个$n$阶行列式，如果其中第$i$行所有元素除$a_{ij}$外都等于0，那么行列式等于$a_{ij}$与它的代数余子式的乘积，即$D=a_{ij}{A}_{ij}$

定理: 行列式等于它的任一行(列)的各元素与其对应的代数余子式乘积之和。

推论: 行列式某一行(列)的元素与另一行(列)对应元素得代数余子式乘积之和等于0。

4.行列式的应用：克莱姆法则($Crame{r}^{\prime }srule$)

$$\{\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \cdots \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$$
如果方程的系数行列式不等于0，即$\$
$$D=\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& & ⋮\\ a_{n1}& \cdots & a_{nn}\end{array}\right|\ne 0$$

那么方程有唯一解
$x_1=\frac{D_1}{D}{x}_2=\frac{D_2}{D},\cdots x_n=\frac{D_n}{D}$

其中$D_j(j=1,2,\cdots n)$ 是把系数行列式中$D$中第$j$列的元素用方程组右端的常数项代替后得到的$n$阶行列式，即

$${D}_j=\left|\begin{array}{ccccccc}{a}_{11}& \cdots & a_{i,j-1}& b_1& a_{i,j+1}& \cdots & a_{1n}\\ ⋮& & ⋮& ⋮& ⋮& & ⋮\\ a_{n1}& \cdots & a_{n,j-1}& b_n& a_{n,j+1}& \cdots & a_{nn}\end{array}\right|$$

如果上式方程无解或者有两个不同的解，那$D$一定为0.
若上式方程的$b_j$都为零，那么就由非齐次方程组转化为齐次方程组,即
$$\{\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=0\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=0\\ \cdots \cdots \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=0\end{array}$$

如果该方程的系数行列式$D$不为0，则方程只有0解，无非零解。如果该方程有非零解，则$D$一定为0.

4.矩阵逆的引入

定义: 对于$n$阶矩阵$A$，如果有一个$n$阶矩阵$B$，使得$AB=BA=E$，则说明矩阵$A$是可逆的，并把矩阵$B$称为矩阵$A$的逆矩阵，$A$的逆矩阵记作$A^{-1}$即$B=A^{-1}$

定理1 若$A\ne 0$矩阵$A$可逆，则$\left|\begin{array}{c}A\end{array}\right|\ne 0$

证明： $\left|\begin{array}{c}{A}^{-1}\end{array}\right|A可逆，则有A^{-1},使得A{A}^{-1}=E$,所以有$\left|\begin{array}{c}A\end{array}\right|\left|\begin{array}{c}{A}^{-1}\end{array}\right|=1$A
那么，$\left|\begin{array}{c}A\end{array}\right|\ne 0$

定理2 若$\left|\begin{array}{c}A\end{array}\right|\ne 0$,则矩阵$A$可逆，且$A^{-1}=\frac{1}{|\begin{array}{c}A\end{array}|}{A}^{\ast }$,其中$A^{\ast }$为矩阵$A$的伴随矩阵.

$$A^{\ast }=\left(\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & A_{n2}\\ ⋮& ⋮& & ⋮\\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}\right)$$

4.1 矩阵的逆的常用性质以及特殊矩阵的逆

性质

(i) 若$A$可逆，则$A^{-1}$也可逆，且$(A^{-1}{)}^{-1}=A$

(ii)若$A$可逆，数$\lambda \ne 0$,则$\lambda A$可逆，$(\lambda A{)}^{-1}=\frac{1}{\lambda }{A}^{-1}$

(iii) 若$A,B$为同阶方阵且均可逆，则$\left|\begin{array}{c}AB\end{array}\right|=\left|\begin{array}{c}A\end{array}\right|\left|\begin{array}{c}B\end{array}\right|\ne 0$,则$AB$可逆；且$(AB{)}^{-1}=B^{-1}{A}^{-1}$

(iiii) 若$A$是可逆的，则$A^T$也可逆，且$(A^T{)}^{-1}=(A^{-1}{)}^{-T}$

说明： $\left|\begin{array}{c}{A}^T\end{array}\right|=\left|\begin{array}{c}A\end{array}\right|\ne 0$,则$A^T$可逆，因为$A^T(A^{-1}{)}^T=(A^{-1}A{)}^T=E$

4.2 特殊矩阵的逆

求二阶矩阵$A=\left(\begin{array}{ccc}a& b& \\ c& d& \end{array}\right)$的逆矩阵。

解：$\left|\begin{array}{c}A\end{array}\right|=ad-bc,A^{\ast }=\left(\begin{array}{ccc}d& -b& \\ -c& a& \end{array}\right)$
A
利用逆矩阵公式$A^{-1}=\frac{1}{|\begin{array}{c}A\end{array}|}{A}^{\ast }$,当$det(A)\ne 0$时，有
A
$$A^{-1}=\frac{1}{\left|\begin{array}{c}A\end{array}\right|}{A}^{\ast }=\frac{1}{ad-bc}\left(\begin{array}{ccc}d& -b& \\ -c& a& \end{array}\right)$$

单位矩阵的逆矩阵为单位矩阵
对角矩阵的逆矩阵

$$A=\left(\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right),\therefore A^{-1}=\left(\begin{array}{ccc}{\lambda }_1^{-1}& & \\ & \ddots & \\ & & {\lambda }_n^{-1}\end{array}\right)$$

4.3 矩阵逆在机器学习线性回归算法中的运用(初级)

4.3.1 多元线性回归问题

$$\begin{gathered} x_1,x_2,\cdots ,x_N,x_i\in {\mathbb{R}}^n \\ {y}_1,x_2,\cdots ,y_N,y_i\in {\mathbb{R}}^1 \end{gathered}$$
其中$x_i$表示一个样本，其是一个$n$维向量，$y_i$是一个输出标量

在回归问题中，我们有

$$\begin{gathered} y_1=x_{11}{a}_1+x_{12}{a}_2+\cdots +x_{1n}{a}_n \\ {y}_1=x_{21}{a}_1+x_{22}{a}_2+\cdots +x_{2n}{a}_n \\ ⋮ \\ {y}_N=x_{N1}{a}_1+x_{N2}{a}_2+\cdots +x_{Nn}{a}_n \end{gathered}$$

写成矩阵的形式

$$\left(\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \cdots & x_{Nn}\end{array}\right)\left(\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right)=\left(\begin{array}{c}{y}_1\\ y_1\\ ⋮\\ y_N\end{array}\right)$$

$$X_{N\times n}{a}_{n\times 1}=Y_{N\times 1}$$
当$N=n$且$X_{N\times n}$可逆时，$a=X^{-1}Y$
一般情况，$N\ne n$.

5. 分块矩阵

分块矩阵的运算规则与普通矩阵的运算规则相似，分别说明如下：

(i) 设矩阵$A$与$B$的行数、列数相同，采用相同的分块法，有

$$A=\left(\begin{array}{ccc}{A}_{11}& \cdots & A_{ir}\\ ⋮& & ⋮\\ A_{n1}& \cdots & A_{nr}\end{array}\right),B=\left(\begin{array}{ccc}{B}_{11}& \cdots & B_{ir}\\ ⋮& & ⋮\\ B_{n1}& \cdots & B_{nr}\end{array}\right)$$

其中$A_{ij}$与$B_{ij}$行数，列数相同，那么

$$A+B=\left(\begin{array}{ccc}{A}_{11}+B_{11}& \cdots & A_{ir}+B_{ir}\\ ⋮& & ⋮\\ A_{n1}+B_{n1}& \cdots & A_{nr}+B_{nr}\end{array}\right)$$

(ii) 设$A=\left(\begin{array}{ccc}{A}_{11}& \cdots & A_{1r}\\ ⋮& & ⋮\\ A_{s1}& \cdots & A_{sr}\end{array}\right)$,$\lambda$为一个实数，那么$\lambda A=\left(\begin{array}{ccc}\lambda A_{11}& \cdots & \lambda A_{1r}\\ ⋮& & ⋮\\ \lambda A_{s1}& \cdots & \lambda A_{sr}\end{array}\right)$

(iii) 设$A$为$m\times l$,$B$为$l\times n$,分块成
$$A=\left(\begin{array}{ccc}{A}_{11}& \cdots & A_{1t}\\ ⋮& & ⋮\\ A_{s1}& \cdots & A_{st}\end{array}\right),B=\left(\begin{array}{ccc}{B}_{11}& \cdots & B_{1r}\\ ⋮& & ⋮\\ B_{t1}& \cdots & B_{tr}\end{array}\right)$$

其中$A_{i1},A_{i2},\cdots ,A_{it}$的列数分别等于$B_{1j},B_{2j},\cdots ,B_{tj}$的行数，那么有

$$AB\left(\begin{array}{ccc}{C}_{11}& \cdots & C_{1r}\\ ⋮& & ⋮\\ C_{s1}& \cdots & C_{sr}\end{array}\right)$$

其中，$C_{ij}={\sum }_{k=1}^t{A}_{ik}{B}_{kj},(i=1,\cdots ,s;j=1,\cdots ,r)$

(iv) 设$A=\left(\begin{array}{ccc}{A}_{11}& \cdots & A_{1r}\\ ⋮& & ⋮\\ A_{s1}& \cdots & A_{sr}\end{array}\right)$,则$A^T=\left(\begin{array}{ccc}{A}_{11}^T& \cdots & A_{s1}^T\\ ⋮& & ⋮\\ A_{1r}^T& \cdots & A_{sr}^T\end{array}\right)$

(v) 设$A$为$n$阶矩阵，若$A$的分块矩阵只有对角线上有非零块，其余子块都为零矩阵，且对角线上的子块都是方阵，即

$$A=\left(\begin{array}{cccc}{A}_1& & & O\\ & A_2& & \\ & & \ddots & \\ & & & A_s\end{array}\right)$$

其中$A_i(i=1,2\cdots s)$都是方阵，那么称$A$为分块对角阵，
分块对角阵的行列式具有下述性质
$$\left|\begin{array}{c}A\end{array}\right|=\left|\begin{array}{c}{A}_1\end{array}\right|\left|\begin{array}{c}{A}_2\end{array}\right|\cdots \left|\begin{array}{c}{A}_s\end{array}\right|$$

由此性质可知，若$\left|\begin{array}{c}{A}_i\end{array}\right|\ne 0(i=1,2,\cdots s)$,则$\left|\begin{array}{c}A\end{array}\right|\ne 0$,并有

$$A^{-1}=\left(\begin{array}{cccc}{A}_1^{-1}& & & O\\ & A_2^{-1}& & \\ & & \ddots & \\ & & & A_s^{-1}\end{array}\right)$$

5.1 协方差矩阵的计算

$x_1,x_2,\cdots x_N\in {\mathbb{R}}^n$

$X={\left(\begin{array}{c}{x}_1^T\\ ⋮\\ x_N^T\end{array}\right)}_{N\times n}，X^T={\left(\begin{array}{c}{x}_1，x_2,\cdots ,x_N\end{array}\right)}_{n\times N},X^T{X}_{n\times n}$,为样本的协方差矩阵

$$X^{T}X=\sum _{i=1}^N{x}_i{x}_i^T$$

三、矩阵初等变换的引入

1 三种矩阵的初等变化

定义： 下面的三种变换称为矩阵的初等行变换：

(i) 对调两行(对调$i,j$两行，记作$r_i\leftrightarrow r_j)$

(ii)以数$k\ne 0$乘某一行的所有元素(第$i$行乘以$k$,记作$r_i\times k$);

(iii)把某一行所有元素的$k$倍加到另外一行对应的元素上去(第$j$行的$k$倍加到第$i$行上，记作$r_i+k\times r_j$)

把定义中的”行“换成”列”，即得矩阵得初等列变换得定义(记号“$r$”换成“$c$”)

矩阵得初等行变换与初等列变换，统称初等变换

如果矩阵$A$经有限次初等行(列)变换变成矩阵$B$，就称矩阵$A$与$B$行(列)等价，记作$A\sim B$;

如果矩阵$A$经有限次初等变换变成矩阵$B$,就称矩阵$A$与$B$等价，记作$A\sim B$;

矩阵之间的等价关系具有以下性质：

(i)反身性 $A\sim A$；

(ii)对称性 若$A\sim B$,则$B\sim A$

(iii)传递性 若$A\sim B$,$B\sim C$,则$A\sim C$

2.矩阵的标准型

例如
$$B=\left[\begin{array}{ccccc}2& -1& -1& 1& 2\\ 1& 1& -2& 1& 4\\ 4& -6& 2& -2& 4\\ 3& 6& -9& 7& 9\end{array}\right]$$

第一步，进行初等行变换，可得$阶梯型矩阵$,$B_p=\left[\begin{array}{ccccc}1& 0& -1& 0& 4\\ 0& 1& -1& 0& 3\\ 0& 0& 0& 1& -3\\ 0& 0& 0& 0& 0\end{array}\right]$

第二步，进行初等列变换，可得$矩阵B的标准型F$

$$F=\left[\begin{array}{ccccc}1& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]$$

其特点： $F$的左上角是一个单位矩阵。其余元素全为0.

$对于m\times n矩阵A，总可以经过初等变换(行变换和列变换)，把它化为标准型$

$$F={\left[\begin{array}{ccc}{E}_r& O& \\ O& O& \end{array}\right]}_{m\times n}$$

3.三种初等矩阵

$$E(i,j)=\left[\begin{array}{ccccccccccc}1& & & & & & & & & & \\ & \ddots & & & & & & & & & \\ & & 1& & & & & & & & \\ & & & 0& & \cdots & & 1& & & \\ & & & & 1& & & & & & \\ & & & ⋮& & \ddots & & ⋮& & & \\ & & & & & & 1& & & & \\ & & & 1& & \cdots & & 0& & & \\ & & & & & & & & 1& & \\ & & & & & & & & & \ddots & \\ & & & & & & & & & & 1\end{array}\right]$$

矩阵$E(i,j)$由单位矩阵互换$i,j$行得到的。

将该矩阵作用在另外一个矩阵$A$上(即左乘以矩阵$A$)，得到的结果相当于把$A$矩阵的$i,j$行交换位置

$$E(i(k))=\left[\begin{array}{ccccccc}1& & & & & & \\ & \ddots & & & & & \\ & & 1& & & & \\ & & & k& & & \\ & & & & 1& & \\ & & & & & \ddots & \\ & & & & & & 1\end{array}\right]$$

矩阵$E(i(k))$由单位矩阵的第$i$行乘以$k$得到。

将该矩阵作用在另外一个矩阵$A$上(即左乘以矩阵$A$)，得到的结果相当于把$A$矩阵的$i$行乘以$k$

$$E(ij(k))=\left[\begin{array}{ccccccc}1& & & & & & \\ & \ddots & & & & & \\ & & 1& & & & \\ & & & \ddots & & & \\ & & & & 1& & \\ & & & & & \ddots & \\ & & & & & & 1\end{array}\right]$$

矩阵$E(ij(k))$由单位矩阵的第$i$行加上第$j$行与$k$的乘积。

将该矩阵作用在另外一个矩阵$A$上(即左乘以矩阵$A$)，得到的结果相当于把$A$矩阵的$i$行加上第$j$行与$k$的乘积.

性质1 设$A$是一个$m\times n$矩阵，对$A$实施一次初等行变换，相当于在$A$的左边乘以相应的$m$阶初等矩阵；对$A$施行一次初等列变换。相当于在$A$的右边乘以相应的$n$阶初等矩阵

性质2 方阵$A$可逆的充分必要条件是存在有限个初等矩阵$P_1,P_2,\cdots ,P_i$,使得$A=P_1{P}_2\cdots P_i$

证明： $\because$任意矩阵，都可以经过初等变换转为为标准型 $F=\left[\begin{array}{cc}{E}_r& O\\ O& O\end{array}\right]$,$E_r$为单位矩阵

$\therefore$存在初等矩阵$Q_1,Q_2,\cdots ,Q_j,Q_{j+1},\cdots Q_i$,使得$Q_1{Q}_2\cdots Q_{j}A{Q}_i\cdots Q_{j+1}=F$

$\because$ 初等矩阵是可逆的

$\therefore$ $A=Q_j^{-1}{Q}_{j-1}^{-1}\cdots Q_1^{-1}F{Q}_{j+1}^{-1}\cdots Q_i^{-1}$

令$P_k=Q_k^{-1}，(k=1,2,\cdots i)$

$\because$,$A=P_j{P}_{j-1}\cdots P_{j}F{P}_{j+1}{P}_{j+2}\cdots P_i$

$\because$ $\left|\begin{array}{c}A\end{array}\right|=\left|P_1\right|\left|P_2\right|\cdots \left|F\right|\left|P_{j+1}\right|\cdots \left|P_i\right|$

$\because$ $A$可逆

$\therefore$ $\left|F\right|\ne 0$,

$\because$矩阵$F$是标准型矩阵，$\therefore$矩阵$F$为单位矩阵

$\therefore$ $A=P_1{P}_2\cdots P_i$

推论：方阵$A$可逆的充分必要条件是可通过初等**$行$**变换变成单位矩阵

证明：$\because$$A=P_1{P}_2\cdots P_i$

$\therefore P_1^{-1}{P}_2^{-1}\cdots P_i^{-1}A=E$

$\therefore Q_1{Q}_2\cdots Q_{i}A=E$

所以，推论成立。

定理: 设$A$与$B$为$m\times n$矩阵，那么：

(i) $A\sim (r)B$的充分必要条件是存在$m$阶可逆矩阵$P$；使得$PA=B$；

(ii) $A\sim (c)B$的充分必要条件是存在$n$阶可逆矩阵$Q$；使得$AQ=B$；

(iii)$A\sim B$的充分必要条件使存在$m$阶可逆矩阵$P$以及$n$阶可逆矩阵$Q$,，使得$PAQ=B$

4. 矩阵秩的定义以及性质

定义 在$m\times n$矩阵$A$中，任取$k$行与$k$列$(k\le m,k\le n)$，位于这些行列交叉处的$k^2$个元素，不改变它们在$A$中所处的位置次序而得的$k$阶行列式,称为矩阵$A$的$k$阶子式。

$m\times n矩阵A的k阶子式共有C_m^k\cdot C_n^k个$

定义: 设在矩阵$A$中有一个不等于0的$r$阶子式子$D$,且所有$r+1$阶子式(如果存在的话)全等于0，那么$D$称为矩阵$A$的最高阶非零子式，数$r$称为矩阵$A$的秩，记作$R(A)$，并规定零矩阵的秩等于0.

显然，若$A$为$m\times n$矩阵，则 0 ≤ R ( A ) ≤ m i n { m , n } 0\leq R(A)\leq min\left \{ m,n \right \} 0≤R(A)≤min{m,n}.由于行列式与其转置行列式相等，因此$A^T$的子式与$A$的子式对应相等，从而$R(A^T)=R(A)$。对于$n$阶矩阵$A$，由于$A$的$n$阶子式只有一个$\left|A\right|$,故当$\left|A\right|\ne 0$时$R(A)=n$，当$\left|A\right|=0$时$R(A)<n$.可见可逆矩阵的秩等于矩阵的阶数，不可逆矩阵的秩小于矩阵的阶数，因此，$可逆矩阵又称满秩矩阵，不可逆矩阵(奇异矩阵)又称为降秩矩阵$

注： 对于一般矩阵，当行数与列数较高时，按照定义求秩很麻烦，然而对于行阶梯形矩阵，它的秩就等于非零行的行数，一看便知无须计算，因此自然想到用初等变换把矩阵化为行阶梯型矩阵，但是两个等价矩阵的秩是否相等呢？

定理： 若$A\sim B$，则$R(A)=R(B)\ast \ast 推论：\ast \ast 若存在$P，Q$可逆矩阵使得$PAQ=B$，则 $R(A)=R(B)$

常用的矩阵秩的性质:(矩阵$A,B$的行数相同)

(i) m a x { R ( A ) ， R ( B ) } ≤ R ( A , B ) ≤ R ( A ) + R ( B ) max \left \{ R(A)，R(B) \right \}\leq R(A,B)\leq R(A)+R(B) max{R(A)，R(B)}≤R(A,B)≤R(A)+R(B)

证明： 因为$A$的列向量可由$(A,B)$列向量线性表示，所以$R(A)\le R(A,B)$,同理，$R(B)\le R(A,B)$，所以 m a x { R ( A ) ， R ( B ) } ≤ R ( A , B ) max \left \{ R(A)，R(B) \right \}\leq R(A,B) max{R(A)，R(B)}≤R(A,B)。

设$a_1,a_2,\cdots ,a_{r_1}$为$A$的列向量组的极大无关组,$b_1,b_2,\cdots ,b_{r_2}$为$B$的列向量组的极大无关组,则$(A,B)$的列向量组可由$a_1,a_2,\cdots ,a_{r_1},b_1,b_2,b_{r_2}$线性表示，所以$R(A,B)=R(a_1,a_2,\cdots ,a_{r_1},b_1,b_2,b_{r_2})\le R(A)+R(B)$，所以，结论成立.

(ii) $R(A+B)\le R(A)+R(B)$

证明： 设$a_1,a_2,\cdots ,a_{r_1}$为$A$的列向量组的极大无关组,$b_1,b_2,\cdots ,b_{r_2}$为$B$的列向量组的极大无关组,那么$(A+B)$的中的每个列向量都可以用向量组$a_1,a_2,\cdots ,a_{r_1},b_1,b_2,b_{r_2}$线性表示，所以$R(A+B)\le R(A)+R(B)$

(iii) R ( A B ) ≤ m i n { R ( A ) , R ( B ) } R(AB)\leq min\left \{R(A),R(B) \right \} R(AB)≤min{R(A),R(B)}

证明:因为矩阵
$$AB=\left(\begin{array}{cccc}{\alpha }_1& {\alpha }_2& \cdots & {\alpha }_m\end{array}\right)\left(\begin{array}{cccc}{b}_{11}& \cdots & b_{1s}& \\ ⋮& & ⋮& \\ b_{m1}& \cdots & b_{ms}& \end{array}\right)$$

所以可知$AB$的列向量组可由$A$的列向量组表示,则$R(AB)\le R(A)$

同理，有
$$AB=\left(\begin{array}{ccc}{a}_{11}& \cdots & a_{1m}\\ ⋮& & ⋮\\ a_{n1}& \cdots & a_{nm}\end{array}\right)\left(\begin{array}{c}{\beta }_1\\ ⋮\\ {\beta }_m\end{array}\right)$$

所以可知$AB$的行向量组可由$B$的行向量组表示,则$R(AB)\le R(B)$

所以， R ( A B ) ≤ m i n { R ( A ) , R ( B ) } R(AB)\leq min\left \{R(A),R(B) \right \} R(AB)≤min{R(A),R(B)}

(iv) 若$A_{m\times n}{B}_{n\times i}=O$,则$R(A)+R(B)\le n$

因为 $AB＝0$
所以$B$的列向量都是$AX=0$的解.
所以$B$的列向量组可以由$AX=0$的基础解系线性表示
所以$r(B)<=n-r(A)$
所以 $r(A)+r(B)<=n.$

5.线性方程组解的个数

设有$n$个未知数$m$个方程的线性方程组

$$\{\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \cdots \cdots \\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n=b_m\end{array}\text{\hspace{1em}(1)}$$

(1)式可以写成以向量$x$为未知元的向量方程
$$Ax=b\text{\hspace{1em}(2)}$$

定理： $n$元线性方程组$AX=b$

(i) 无解的充分必要条件是$R(A)<R(A,b)$；

(ii) 有唯一解的充分必要条件是$R(A)=R(A,b)=n$

(iii) 有无限多解的充分必要条件是$R(A)=R(A,b)<n$

定理： $n$元齐次线性方程组$Ax=0$有非零解的充分必要条件是$R(A)<n$

定理： 线性方程组$Ax=b$有解的充分必要条件是$R(A)=R(A,b)$

四、矩阵秩在机器学习线性回归算法中的应用(中级)

$x_1,x_2,\cdots ,x_N,x_i\in {\mathbb{R}}^n$表示有$N$个样本，每个样本是$n$维向量

$y_1,y_2,\cdots ,y_N,y_i\in {\mathbb{R}}^1$表示每个样本的输出，每个输出都为一个标量.

$$\begin{gathered} y_1=x_{11}{a}_1+x_{12}{a}_2+\cdots +x_{1n}{a}_n \\ {y}_2=x_{21}{a}_1+x_{22}{a}_2+\cdots +x_{2n}{a}_n \\ ⋮ \\ {y}_N=x_{N1}{a}_1+x_{N2}{a}_2+\cdots +x_{Nn}{a}_n\left(\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \cdots & x_{Nn}\end{array}\right)=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right) \\ {X}_{N\times n}{a}_{n\times 1}=Y_{N\times 1} \end{gathered}$$

当$N=n$且$X_{N\times n}$可逆时：$a=X^{-1}Y$

一般情况下：$N\ne n$

那么 $min\Vert Xa-Y\Vert =J$,构造损失函数,$\frac{\partial J}{\partial a}=X^T(Xa-Y)=0，X^{T}Xa=X^{T}Y$,$X^{T}X$是否可逆？

$关于此部分的矩阵损失函数求导以及以下的说明，后续会讲到$

1.$N>n$，如$N=5,n=3$,$(x^{T}x{)}_{3\times 3}$一般是可逆的，$a=(X^{T}X{)}^{-1}{X}^{T}Y$,蓝色部分称为矩阵$X$的伪逆矩阵

2.$N<n$,如$N=3，n=5,(X^{T}X{)}_{5\times 5},R(X^{T}X)\le R(X)\le 3$,所以$X^{T}X$不可逆。$通过加入二范数正则化项，可解决不可逆问题$

补充： 设$A$为$m\times n$实矩阵，$R(A^{T}A)=R(A)\$
证明： 证明$AX=0(1)$与$A^{T}AX=0(2)$同解系即可；如下：

显然$(1)$的解是$(2)$的解。设$X_0$是$(2)$的解，则$A^{T}A{X}_0=0$
所以有$X_0^T{A}^{T}A{X}_0=0,(A{X}_0{)}^{T}A{X}_0=0$，则$A{X}_0=0$，所以$X_0$也是$(2)$的解，即两个方程组同解进而基础解系含相同的个数的解向量。所以可得,

$$\begin{gathered} n-R(A)=n-R(A^{T}A) \\ R(A^{T}A)=R(A) \end{gathered}$$

1.向量的线性相关，线性无关以及与可逆矩阵的关系

1.1 线性相关与线性无关

定义: 给定向量组$A:a_1,a_2,\cdots ,a_m$,如果存在不全为零的数$k_1,k_2,\cdots ,k_m$，使
$$k_1{a}_1+k_2{a}_2+\cdots +k_m{a}_m=0$$
则称向量组$A$是线性相关的，否则为线性无关。

定理： 向量组$a_1,a_2,\cdots a_m$线性相关的充分必要是它所构成的矩阵$A=(a_1,a_2,\cdots ,a_m)$的秩小于向量个数$m$；向量组线性无关的充分必要条件$R(A)=m$。

例：试讨论$n$维单位坐标向量组的线性相关性

解：$n$维单位坐标向量组构成的矩阵$E=(e_1,e_2,\cdots ,e_n)$是由$n$阶单位矩阵，由$\left|E\right|=1\ne 0$,知$R(E)=n$，即$R(E)$等于向量组中向量个数，由定理可知，此向量组是线性无关的。

1.2 向量的内积，范数，正交，规范正交基

定义： 设有$n$维向量$x=[x_1,x_2,\cdots ,x_n{]}^T,y=[y_1,y_2,\cdots ,y_n]$，令$[x,y]=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$称为向量$x$与$y$的内积，内积是两个向量之间的一种运算，其结果是一个实数，用矩阵记号表示，当$x$与$y$都是列向量时，有
$$[x,y]=x^{T}y$$

内积具有下列性质(其中$x,y,z$为$n$维向量，$\lambda$为实数)

(i) $[x,y]=\left[y,x\right]$

(ii)$[\lambda x,y]=\lambda [x,y]$

(iii)$[x+y,z]=[x,z]+[y,z]$

(iv)当$x=0$时，$[x,x]=0；当x\ne 0,[x,x]>0$

$由这些定义以及二维空间向量夹角的概念cos\theta =\frac{[a,b]}{\Vert a\Vert \Vert b\Vert }$，我们可以推广到高维空间，也可以用来衡量高维空间中两个样本的相似度的一种度量(不同于欧氏距离)

柯西不等式

$[x,y{]}^2\le [x,x][y,y]$

证明：$$\begin{gathered} \forall x,y\in {\mathbb{R}}^n,let:z=x-\lambda y,[z,z]=[x-\lambda y,x-\lambda y]=[x,x]-2\lambda [x,y]+{\lambda }^2[y,y]\le 0 \\ \forall \lambda ,\Delta =4[x,y{]}^2-4[x,x][y,y]\le 0,[x,y{]}^2\le [x,x][y,y] \end{gathered}$$

范数与正交

**定义:**令$\Vert x\Vert =\sqrt{[x,x]}=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}$,$\Vert x\Vert$称为$n$维向量$x$的长度(或者范数).

当$\Vert x\Vert =1$时，称$x$为单位向量

向量的长度具下述性质：

(i)非负性，当$x\ne 0$时，$\Vert x\Vert >0;$当$x=0$时，$\Vert x\Vert =0$

(ii)齐次性，$\Vert \lambda x\Vert =|\lambda |\Vert x\Vert$;

(iii)三角不等式 $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$(证明：不等式两边平方，然后利用柯西不等式即可证明)

当$[x,y]=0$时，，称向量$x$与$y$正交，显然，若$x=0$，则$x$与任何向量都正交.

定理: 若$n$维向量$a_1,a_2,\cdots a_r$是一组两两正交的非零向量，则$a_1,a_2,\cdots ,a_r$线性无关.

规范正交基

定义: 设$n$维向量$e_1,e2,\cdots ,e_r$是向量空间$V(V\in {\mathbb{R}}^n)$的一个基，如果$e_1,e_2,\cdots e_r$两两正交，且都为单位向量，则称$e_1,e_2,\cdots e_r$是$V$的一个规范正交基.

若$e_1,e_2,\cdots e_r$是$V$的一个规范正交基，那么$V$中的任一向量$a$应能由$e_1,e_2,\cdots e_r$线性表示。

2.施密特正交化

设$a_1,\cdots ,a_r$是向量空间$V$的一个基，要求$V$的一个规范正交基，这也就是要找一组两两正交的单位向量$e_1,\cdots ,e_r$，使$e_1,\cdots ,e_r$与$a_1,\cdots ,a_r$等价，这样的一个问题，称为把$a_1,a_2,\cdots ,a_r$这个基规范正交化。

我们可以用以下办法把$a_1,\cdots ,a_r$规范正交化：取
$$\begin{gathered} b_1=a; \\ {b}_2=a_2-\frac{[b_1,a_2]}{[b_1,b_1]}{b}_1 \\ \cdots \cdots \cdots \\ {b}_r=a_r-\frac{[b_1,a_r]}{[b_1,b_1]}{b}_1-\frac{[b_2,a_r]}{[b_2,b_2]}{b}_2-\cdots -\frac{[b_{r-1},a_r]}{[b_{r-1},b_{r-1}]}{b}_{r-1} \end{gathered}$$

容易验证，$b_1,b_2,\cdots ,b_r$两两正交，且$b_1,\cdots ，b_r$与$a_1,\cdots a_r$等价，然后只要对它们单位化，即取

$$e_r=\frac{1}{\Vert b_r\Vert }{b}_r.(r=1,2,\cdots ,)$$
就是空间$V$的一个规范正交基

定义： 如果$n$阶矩阵$A$满足$A^{T}A=E$(即$A^{-1}=A^T$),那么称$A$为正交矩阵，简称正交阵

上式用$A$的列向量表示，即是
$$\left[\begin{array}{c}{a}_1^T\\ a_2^T,\\ ⋮\\ a_n^T\end{array}\right](a_1,a_2,\cdots ,a_n)=E$$

因为$A^{T}A=E$与$A{A}^T=E$等价，所以上述结论对$A$的行向量亦成立。
由此可见，$n$阶正交阵$A$的$n$个列(行)向量构成向量空间${\mathbb{R}}^n$的一个规范正交基

3.特征值和特征向量的定义以及直观的意义

定义: 设$A$是$n$阶矩阵，如果数$\lambda$和$n$维非零列向量$x$使关系式
$$Ax=\lambda x$$
成立，那么，这样的数$\lambda$称为矩阵$A$的特征值，非零向量$x$称为$A$的对应特征值$\lambda$的特征向量

直观意义:将一个矩阵作用在一个向量上，即线性变换，得到的向量与原向量平行(或者说线性相关)

特征方程： $(A-\lambda E)x=0$

特征多项式
$$\left|\begin{array}{cccc}{a}_{11}-\lambda & a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}-\lambda & \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}-\lambda \end{array}\right|=0$$

推论

(i) ${\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=tr(A)$

(ii)${\lambda }_1{\lambda }_2\cdots {\lambda }_n=|A|$

设$\lambda ={\lambda }_i$为矩阵$A$的一个特征值，则由方程$(A-{\lambda }_{i}E)x=0$可求得非零解$x=p_i$，那么$p_i$便是$A$的对应特征值${\lambda }_i$的特征向量.

ps: 对于任意矩阵$A$其线性无关的特征向量个数小于矩阵的阶数(即特征值的个数(包含重根个数))

(iii)设$\lambda$是方阵$A$的特征值，则${\lambda }^2$是$A^2$的特征值；当$A$可逆时，$\frac{1}{\lambda }$是$A^{-1}$的特征值

Prove：$\because \lambda$是$A$的特征值

$\therefore p\ne 0suchthatAp=\lambda p$

$\therefore A^{2}p=A(Ap)=A(\lambda p)=\lambda (Ap)={\lambda }^{2}p$

$WhenA$是可逆时，由$Ap=\lambda p$，有$p=\lambda A^{-1}p$，由于$p\ne 0$，知$\lambda \ne 0$

$\therefore A^{-1}p=\frac{1}{\lambda }p$

按此例类推，不难证明：若$\lambda$是$A$的特征值，则${\lambda }^k$是$A^k$的特征值；$\phi (\lambda )$是$\phi (A)$的特征值，其中$\phi (\lambda )=a_0+a_1\lambda +\cdots +a_m{\lambda }^m$是$\lambda$的多项式，$\phi (A)=a_{0}E+a_{1}A+\cdots +a_m{A}^m$是矩阵$A$的多项式

定理： 设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }^m$是矩阵$A$的$m$个特征值，$p_1,p_2,\cdots p_m$依次是与之对应的特征向量，如果${\lambda }_1,\cdots ,{\lambda }_m$各不相等，则$p_1,p_2,\cdots ,p_m$线性无关.

例题 设${\lambda }_{1}and{\lambda }_2$是矩阵$A$的两个不同的特征值，对应的特征向量依次为$p_1$和$p_2$，证明$p_1+p_2$不是$A$的特征向量.

证明： 由题可知，$A{p}_1={\lambda }_1{p}_1,A_{2}p={\lambda }^2{p}_2$,所以有$A(p_1+p_2)={\lambda }_1{p}_1+{\lambda }_2{p}_2$

用反证法，假设$p_1+p_2$是$A$的特征向量，则应存在数$\lambda$，使得$A(P_1+P_2)=\lambda (P_1+P_2)$，于是

$\lambda (p_1+p_2)={\lambda }_1{p}_1+{\lambda }_2{p}_2$,即$({\lambda }_1-\lambda )p_1+({\lambda }_2-\lambda )p_2=0$

因为${\lambda }_1\ne {\lambda }_2$，所以按照定理可知$p_1,p_2$线性无关，故由上式得${\lambda }_1-\lambda ={\lambda }_2-\lambda =0$,即${\lambda }_1={\lambda }_2$。与假设矛盾，因此$p_1+p_2$不是$A$的特征向量。

五、相似矩阵的定义以及矩阵的对角化

**定义：**设$A,B$都是$n$阶矩阵，若有可逆矩阵$P$,使得
$$P^{-1}AP=BORPA{P}^{-1}=B$$
则称$B$是$A$的相似矩阵，或者说矩阵$A$与$B$相似，对$A$进行运算$P^{-1}AP$称为对$A$进行相似变换，可逆矩阵$P$称为把$A$变成$B$的相似变换矩阵.

定理： 若$n$阶矩阵$A$与$B$相似，则$A$与$B$的特征多项式相同，从而$A$与$B$的特征值亦相同。

证明： 设矩阵$B$的特征多项式为
$$f_{B(\lambda )}=|B-\lambda E|=|P^{-1}AP-\lambda P^{-1}EP|=|P^{-1}(A-\lambda E)P|=|A-\lambda E|$$

推论： 若$n$阶矩阵$A与对角阵相似

$$\Lambda =\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)$$
相似，则${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$即$A$的$n$个特征值。

下面我们要讨论的主要问题是：对$n$阶矩阵$A$,寻求相似变换矩阵$P$，使得
$P^{-1}AP=\Lambda$为对角阵，这就称为把矩阵$A$对角化.

假设已经找到可逆矩阵$P$，使得$P^{-1}AP=\Lambda$,我们来讨论$P$应满足什么关系.

把$P$用其列向量表示为
$$P=(p_1,p_2,\cdots ,p_n)$$
由$P^{-1}AP=\Lambda$,得到$AP=P\Lambda$

即
$$A(p_1,p_2,\cdots ,p_n)=(p_1,p_2,\cdots ,p_n)\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)=({\lambda }_1{p}_1,{\lambda }_2{p}_2,\cdots ,{\lambda }_n{p}_n)$$

于是有，$A{p}_i={\lambda }_i{p}_i,(i=1,2,\cdots ,n)$

5.1一般矩阵对角化的条件

定理： $n$阶矩阵$A$与对角阵相似(即$A$能对角化)的充分必要条件是$A$有$n$个线性无关的特征向量.

定理： 设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m$是方阵$A$的$m$个特征值，$p_1,p_2,\cdots ,p_m$依次是与之对应的特征向量，如果${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m$各不相等，$p_1,p_2,\cdots ,p_m$线性无关。

推论： 如果$n$阶矩阵$A$的$n$个特征值互不相等，则$A$与对角阵相似。

5.2 对称矩阵对角化

定理： 实对称矩阵的特征值为实数。

证明： 设实对称矩阵$A$的特征值为$\lambda$，特征向量为$x$，那么

$Ax=\lambda x(1)$等式两边取共轭，那么得到$\bar{A}\bar{x}=\bar{\lambda }\bar{x}$,

又因为$A$为实对称矩阵，所以可得$A\bar{x}=\bar{\lambda }\bar{x}$,等式(1)两边转置并右乘以$\bar{x}$，得
$$x^{T}A\bar{x}=\lambda x^T\bar{x}$$
所以，$\bar{\lambda }{x}^T\bar{x}=\lambda x^T\bar{x}$,又因为$x$为非零向量，所以$\bar{\lambda }=\lambda$，即$\lambda$为实数.

定理 设${\lambda }_1,{\lambda }_2$是对称矩阵$A$的两个特征值，$p_1,p_2$是对应特征向量，若${\lambda }_1\ne {\lambda }_2$,则$p_1$与$p_2$正交。

证明： 由题可知，${\lambda }_1{p}_1^T=({\lambda }_1{p}_1{)}^T=(A{p}_1{)}^T=p_1^{T}A$,于是${\lambda }_1{p}_1^T{p}_2=p_1^{T}A{p}_2=p_1^T{\lambda }_2{p}_2={\lambda }_2{p}_1^T{p}_2$
即
$$({\lambda }_1-{\lambda }_2)p_1^T{p}_2=0$$

但是${\lambda }_1\ne {\lambda }_2$,故$p_1^T{p}_2=0$，即$p_1与p_2$正交。

**结论：**实对称矩阵$n\times n$一定可以对角化，且一定有$n$个线性无关的特征向量.

定理： 设$A$为$n$阶对称阵，则必有正交矩阵$P$，使得$P^{-1}AP=P^{T}AP=\Lambda$,其中$\Lambda$是以$A$的$n$个特征值为对角元的对角阵。

推论： 设$A$为$n$阶对称阵，$\lambda$是$A$的特征方程的$k$重根，则矩阵$A-\lambda E$的秩$R(A-\lambda E)=n-k$ ,且对应特征值$\lambda$
恰有$k$个线性无关的特征向量.

对称矩阵对角化步骤:

(i)求出$A$的全部互不相等的特征值${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s$,它们的重数依次为$k_1,k_2,\cdots ,k_s,(k_1+k_2+\cdots +k_s=n)$。

(ii)对每个$k_i$重特征值${\lambda }_i$，求方程$(A-{\lambda }_{i}E)x=0$的基础解系。得$k_i$个线性无关得特征向量，再把它们正交化，单位化，得$k_i$个两两正交的单位特征向量，因为$k_1+\cdots +k_s=n$，故总共可得$n$个两两正交的单位特征向量。

(iii) 把这$n$个两两正交的单位特征向量构成正交矩阵$P$，便有$P^{-1}AP=P^{T}AP=\Lambda$,注意$\Lambda$中的对角元的排列次序应与$P$中列向量的排列次序相对应。

5.3 对角化在数据压缩算法中的简单应用

$A$为$n$阶对称阵
$$A=P^{-1}\Lambda P=P^T\Lambda P$$

存$n$阶的对称阵需要多少个参数呢？$\frac{n(n+1)}{2}$个

令$P^T=(P_1,P_2,\cdots ,P_N)$

$$A=(P_1,p_2,\cdots ,p_n)\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)\left(\begin{array}{c}{p}_1^T\\ p_2^T\\ ⋮\\ p_n^T\end{array}\right)={\lambda }_1{p}_1{p}_1^T+{\lambda }_2{p}_2{p}_2^T+\cdots +{\lambda }_n{p}_n{p}_n^T\text{\hspace{1em}(1)}$$

假设$|{\lambda }_1|\ge |{\lambda }_2|\ge |{\lambda }_3|\cdots \ge |{\lambda }_n|$

现在需要节省内存，可在损失一点精度的情况下来节省内存。对式子$(1)$近似，可得

$$A\approx {\lambda }_1{p}_1{p}_1^T+\cdots +{\lambda }_k{p}_k{p}_k^{T}k\le n$$
那么此时需要多少个参数存$A$矩阵呢？

首先${\lambda }_1,\cdots ,{\lambda }_k$有$k$个参数，以及向量$p_1,\cdots ,p_k$有$n\times k$个参数，总共有$k(n+1)$个参数。

而原需要$\frac{n(n+1)}{2}=\frac{n}{2}(n+1)$

若$n=100$，取$k=10$，那么可节省5倍内存.

损失精度为：
$$err=1-\frac{{\sum }_{i=1}^k|{\lambda }_i|}{{\sum }_{i=1}^n|{\lambda }_i|}$$

5.4 二次型以及矩阵的正定性

在解析几何中，为了便于研究二次曲线
$$a{x}^{\prime 2}+b{x}^{\prime }{y}^{\prime }+c{y}^{\prime 2}=1$$
的几何性质，可以选择适当的坐标旋转变换
$$\{\begin{array}{c}x=x^{\prime }cos\theta -y^{\prime }sin\theta \\ y=x^{\prime }sin\theta +y^{\prime }cos\theta \end{array}$$
即
$$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{cc}cos\theta & -sin\theta \\ sin\theta & cos\theta \end{array}\right)\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right)$$

把方程化为标准型
$$m{x}^2+n{y}^2=1$$

定义： 含有$n$个变量$x_1,x_2,\cdots ,x_n$的二次齐次函数
$$f(x_1,x_2,\cdots ,x_n)=a_{11}{x}_1^2+a_{22}{x}_2^2+\cdots +a_{nn}{x}_n^2+2a_{12}{x}_1{x}_2+2a_{13}{x}_1{x}_3+\cdots +2a_{n-1,n}{x}_{n-1}{x}_n$$
称为二次型。

对于二次型，我们讨论的主要问题是：寻找可逆的线性变换
$$\{\begin{array}{c}{x}_1=c_{11}{y}_1+c_{12}{y}_2+\cdots +c_{1n}{y}_n\\ x_2=c_{21}{y}_1+c_{22}{y}_2+\cdots +c_{2n}{y}_n\\ \cdots \cdots \\ x_n=c_{n1}{y}_1+c_{n2}{y}_2+\cdots +c_{nn}{y}_n\end{array}$$
使二次型只含平方项，也就是$f=k_1{y}_1^2+k_2{y}_2^2+\cdots +k_n{y}_n^2$
这种只含平方项的二次型，称为二次型的标准型(或法式)

如果标准形的系数$k_1,k_2,k_n$只在1，-1，0三个数中取值，能使
$$f=y_1^2+y_2^2-y_3^2+\cdots$$
称上式为二次型的规范型.

一般的二次型可写成
$$\begin{gathered} f=a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{1n}{x}_1{x}_n+ \\ {a}_{21}{x}_2{x}_1+a_{22}{x}_2^2+\cdots +a_{2n}{x}_2{x}_n \\ +\cdots +a_{n1}{x}_n{x}_1+a_{n2}{x}_n{x}_2+\cdots +a_{nn}{x}_n^2 \\ =\sum _{i,j=1}^n{a}_{ij}{x}_i{x}_j \\ =\left(\begin{array}{cc}{x}_1& x_2,\cdots ,x_n\end{array}\right)\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right) \end{gathered}$$

记
$$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right),x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$$

则二次型可记作
$$f=x^{T}Ax$$
其中$A$为对称阵.

如果$A$是对角矩阵该多好呀，就变成了标准型甚至规范型.

由前面可知，实对称矩阵一定可对角化，即$\Lambda =P^{T}AP=P^{-1}AP$

设$x=Py$，则$f=y^T{P}^{T}APy=y^T\Lambda y$,

推论： 对称矩阵$A$为正定的充分必要条件是：$A$的特征值全为正.

定义： 设有二次型$f(x)=x^{T}Ax$,如果对任何$x\ne 0$，都有$f(x)>0$(显然f(0)=0)，则称$f$为正定二次型，并称对称阵$A$是正定的；如果对任何
$x\ne 0$，都有$f(x)<0$,则称$f$为负定二次型，并称对称矩阵$A$是负定的。

$x^{T}Ax={\sum }_{i=1}^n{\lambda }_i{y}_i^2>0$,则${\lambda }_i$都为正；正定。

定理： $n$元二次型$f=x^{T}Ax$为正定的充分必要条件：它的标准型的$n$个系数全为正，即它的规范型的$n$个系数全为1，亦即它的正惯性指数等于$n$。

补充半正定：
$x^{T}Ax\ge 0\iff {\lambda }_i\ge 0$,注意$x\ne 0$

补充负半定:
$x^{T}Ax\le 0\iff {\lambda }_i\le 0$,注意$x\ne 0$

六、矩阵的正定型在机器学习线性回归算法中的运用(高级)

根据文章之前所述，有个问题待解决，问题如下：

$$\begin{gathered} N<n,suchasN=3,n=5 \\ (X^{T}X{)}_{5\times 5},R(X^{T}X)\le R(X)\le 3 \end{gathered}$$
故$X^{T}X$不可逆

此刻，可重新定义损失函数$J=||Xa-Y||+\lambda ||a|{|}^2$

求导，得到$\frac{\partial J}{\partial a}=X^{T}Xa-X^{T}Y+\lambda a=0$
,那么
$$(X^{T}X+\lambda I)a=X^{T}Y$$
且$(X^{T}X+\lambda I)$必可逆，即可得$a=(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$

$关于证明矩阵X^{T}X+\lambda I可逆$

证明： 从正定性角度来证明

1.$a_T(x^{T}x)a=(xa{)}^T(xa)\ge 0$,即矩阵$X^{T}X$半正定，所以${\lambda }_i\ge 0$

又因为矩阵(不局限于对称矩阵)的行列式等于其所有特征值相乘，即$x^{T}x={\lambda }_1{\lambda }_2\cdots {\lambda }_n$
以下对对称矩阵$X^{T}X=P^{-1}\left(\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right)P$

两边取行列式,所以$X^{T}X={\lambda }_1{\lambda }_2\cdots {\lambda }_n$

又因为矩阵$X^{T}X$半正定，则${\lambda }_i\ge 0$,所以$X^{T}X$仍然可能为0，不一定可逆.

2.$a^T(X^{T}X+\lambda I)a=(Xa{)}^T(Xa)+\lambda a^{T}a>0$,即矩阵$X^{T}X+\lambda I$正定，所以${\lambda }_i\ge 0$

所以$|X^{T}X+\lambda I|>0$恒成立，一定可逆.

$加了正则化项的线性回归也称为岭回归$

七、SVD分解及其应用

SVD比较复杂，之后再单独分析