【应用多元统计分析】CH1 矩阵代数

最新推荐文章于 2023-12-26 15:19:34 发布

数据人的自我救赎

最新推荐文章于 2023-12-26 15:19:34 发布

阅读量1k

点赞数 3

分类专栏：应用多元统计分析文章标签：矩阵线性代数机器学习

本文链接：https://blog.csdn.net/m0_72318954/article/details/127294310

版权

应用多元统计分析专栏收录该内容

9 篇文章 22 订阅

订阅专栏

一、定义

$p*q$ 矩阵： $A=\begin{pmatrix} a_{11} &a_{12} & \cdots & a_{1q}\\ a_{21} &a_{22} & \cdots & a_{2q}\\ \vdots & \vdots & & \vdots \\ a_{p1} &a_{p2} & \cdots & a_{pq} \end{pmatrix}_{p*q}$
$p$ 维列向量： $a=\begin{pmatrix} a_{1}\\ a_{2}\\ \vdots \\ a_{p} \end{pmatrix}$
$q$ 维行向量： $a^{'}=(a_{1},a_{2},\cdots,a_{q})$
向量 $a$ 的长度： $\left \| a \right \|=\sqrt{a^{'}a}=\sqrt{a_{1}^2+\cdots,a_{p}^2}$
单位向量： $\left \| a \right \|=1$
零矩阵：若 $A$ 的所有元素全为零，则称A为零矩阵，记作 $A=0_{pq}/A=0$
若 $p=q$ ，则称 $A$ 为 $p$ 阶方阵， $a_{11},a_{22},\cdots,a_{pp}$ 称为它的对角线元素，其他元素称为非对角线元素
若方阵 $A$ 的对角线下方的元素全为零，则称 $A$ 为上三角矩阵
若方阵 $A$ 的对角线上方的元素全为零，则称 $A$ 为下三角矩阵
若方阵 $A$ 的所有非对角线元素全为零，则称 $A$ 为对角矩阵，简记为

$A=diag(a_{11},a_{22},\cdots,a_{pp})$

若 $p$ 阶对角矩阵 $A$ 的所有 $p$ 个对角线元素均为1，则称 $A$ 为 $p$ 阶单位矩阵，记作 $A=I_{p}/A=I$
若将矩阵 $A$ 的行与列互换，则得到的矩阵称为 $A$ 的转置，记作 $A^{'}$ 。
若方阵 $A$ 满足 $A=A^{'}$ ，则称 $A$ 为对角矩阵。
若方阵 $A$ 满足 $A^2=A$ ，则称 $A$ 为幂等矩阵。
若方阵 $A$ 满足 $A^2=A,A^{'}=A$ ，则称 $A$ 为投影矩阵。

二、矩阵的运算

1.相关运算

若 $A=(a_{ij})_{p*q},B=(b_{ij})_{p*q}$ ，则 $A+B=(a_{ij}+b_{ij})_{p*q}$
若 $c$ 为一常数，则它与 $A$ 的积定义为 $cA=(ca_{ij})_{p*q}$
$A=(a_{ij})_{p*q},B=(b_{ij})_{q*r}\Rightarrow AB=\left ( \sum_{k=1}^{q}a_{ik}b_{kj} \right )_{p*r}$

2.运算规律

$(A+B)^{'}=A^{'}+B^{'}$
$(AB)^{'}=B^{'}A^{'}$
$A(B_{1}+B_{2})=AB_{1}+AB_{2}$
$A\left ( \sum_{i=1}^{k}B_{i} \right )=\sum_{i=1}^{k}AB_{i}$
$c(A+B)=cA+cB$

3.正交矩阵

（1）定义

若两个 $p$ 维向量 $a,b$ 满足 $a^{'}b=a_{1}b_{1}+a_{2}b_{2}+\cdots+a_{p}b_{p}=0$ ，则称 $a,b$ 正交。几何上，正交向量之间相互垂直。

若方阵 $A$ 满足 $AA^{'}=I$ ，则称 $A$ 为正交矩阵。

显然， $\sum_{j=1}^{p}a_{ij}^2=1,i=1,2,\cdots,p$ ，即 $A$ 的 $p$ 个行向量为单位向量； $\sum_{j=1}^{p}a_{ij}a_{kj}=0,i\neq k$ ，即 $A$ 的 $p$ 个行向量相互正交。又从 $A^{'}A=I$ 得，

$\sum_{i=1}^{p}a_{ij}^2=1,j=1,2,\cdots,p;\sum_{i=1}^{p}a_{ij}a_{ki}=0,j\neq k$

即 $A$ 的 $p$ 个列向量也相互正交。

（2）几何意义

将 $p$ 维向量 $x$ 看成是在 $R^{p}$ 中的一个点，则 $x$ 的各分量是该点在相应各坐标轴上的坐标。正交矩阵的行列式非1即-1，若 $\left | A \right |=1$ ，则正交变换 $y=Ax$ 意味着对原 $p$ 维坐标系作一刚性旋转（或称为正交旋转）， $y$ 的各分量正是该点在新坐标下的坐标；若 $\left | A \right |=-1$ ，则包含了一个反射的坐标轴。

当 $p=2$ 时，按逆时针方向将直角坐标系 $x_{1}Ox_{2}$ 旋转一个角度 $\theta$ ，所得新坐标 $y_{1}Oy_{2}$ 与原坐标之间的变换为 $y=\begin{pmatrix} y_{1}\\ y_{2} \end{pmatrix}=\begin{pmatrix} cos\theta &sin\theta \\ -sin\theta & cos\theta \end{pmatrix}\begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix}=Ax$ 。

当 $p=3$ 时同样有直观的几何展示。

由于 $y^{'}y=(Ax)^{'}(Ax)=x^{'}A^{'}Ax=x^{'}x$ ，故在新旧坐标下，该点到原点的距离保持不变。

4.矩阵的分块

（1）定义

设 $A=(a_{ij})_{p*q}$ ，将它分成四块，表示成

$A=\begin{pmatrix} A_{11} &A_{12} \\ A_{21} & A_{22} \end{pmatrix}$

其中 $A_{11}:k*l,A_{12}:k*(q-l),A_{21}:(p-k)*l,A_{22}:(p-k)*(q-l)$ 。

（2）运算

若 $A,B$ 有相同的分块，则 $A+B=\begin{pmatrix} A_{11}+B_{11} &A_{12}+B_{12} \\ A_{21}+B_{21}&A_{22}+B_{22} \end{pmatrix}$
若 $C=(c_{ij})_{q*r}$ ，分成 $C=\begin{pmatrix} C_{11} &C_{12} \\ C_{21} &C_{22} \end{pmatrix}.C_{11}:l*m;C_{12}:l*(r-m)$ ，则有

$AC=\begin{pmatrix} A_{11} &A_{12} \\ A_{21} &A_{22} \end{pmatrix}\begin{pmatrix} C_{11} &C_{12} \\ C_{21} &C_{22} \end{pmatrix}=\begin{pmatrix} A_{11}C_{11}+A_{12}C_{21} &A_{11}C_{12}+A_{12}C_{22} \\ A_{21}C_{11}+A_{22}C_{21}& A_{21}C_{12}+A_{22}C_{22} \end{pmatrix}$

（3）【例】

用矩阵分块方法证明正交矩阵 $A:p*p$ 的 $p$ 个列向量和 $p$ 个行向量都是一组正交单位向量。

${\color{Blue} proof:}$

将矩阵 $A$ 分别按列向量和行向量分块，并记 $A=(a_{1},a_{2},\cdots,a_{p})=\begin{pmatrix} a_{(1)}^{'}\\ a_{(2)}^{'}\\ \vdots \\ a_{(p)}^{'} \end{pmatrix}$ 。由 $A^{'}A=I$ ，得

$\begin{pmatrix} a_{1}^{'}\\ a_{2}^{'}\\ \vdots \\ a_{p}^{'} \end{pmatrix}(a_{1},a_{2},\cdots,a_{p})=I\Rightarrow \begin{pmatrix} a_{1}^{'}a_{1} & a_{1}^{'}a_{2} & \cdots &a_{1}^{'}a_{p} \\ a_{2}^{'}a_{1} & a_{2}^{'}a_{2} &\cdots & a_{2}^{'}a_{p}\\ \vdots & \vdots & & \vdots \\ a_{p}^{'}a_{1} &a_{p}^{'}a_{2} & \cdots & a_{p}^{'}a_{p} \end{pmatrix}=\begin{pmatrix} 1 & 0 & \cdots &0 \\ 0 & 1& \cdots & 0\\ \vdots & \vdots & &\vdots \\ 0&0 & \cdots & 1 \end{pmatrix}$

故有 $a_{i}^{'}a_{j}=\left\{\begin{matrix} 1,i=j\\ 0,1\leqslant i\neq j\leqslant p \end{matrix}\right.$ ，即 $a_{1},a_{2},\cdots,a_{p}$ 为一组正交单位向量。同理，由 $AA^{'}=I$ 可证 $a_{(1)},a_{(2)},\cdots,a_{(p)}$ 也是一组正交单位向量。

三、行列式

1.定义

p阶方阵 $A=(a_{ij})_{p*p}$ 得行列式定义为 $\left | A \right |=\sum_{j_{1}j_{2}\cdots j_{p}}(-1)^{\tau (j_{1}j_{2}\cdots j_{p})}a_{1j_{1}}a_{2j_{2}}\cdots a_{pj_{p}}$ ，这里 $\sum_{j_{1}j_{2}\cdots j_{p}}$ 表示对 $1,2,\cdots,p$ 的所有排列求和， $\tau (j_{1}j_{2}\cdots j_{p})$ 是排列 $j_{1}j_{2}\cdots j_{p}$ 中逆序的总数，称它为这个排列的逆序数，一个逆序是指在一个排列中一对数的前后位置与大小顺序相反，即前面的数大于后面的数。例如 $\tau \left ( 3124 \right )=1+\tau (1342)=3+\tau (1234)=3$ 。

2.基本性质

若 $A$ 的某行（或列）为零，则 $\left | A \right |=0$
$\left | A^{'} \right |=\left | A \right |$
若将 $A$ 的某一行（或列）乘以常数 $c$ ，则所得矩阵的行列式为 $c\left | A \right |$
若 $A$ 是一个 $p$ 阶方阵， $c$ 为一常数，则 $\left | cA \right |=c^p\left | A \right |$
互换 $A$ 的任意两行（或列），则行列式符号改变
若 $A$ 的某两行（或列）相同，则行列式为零
若将 $A$ 的某一行（或列）的倍数加到另一行（或列），则所得行列式不变
若 $A$ 的某一行（或列）是其他一些行（或列）的线性组合，则行列式为零
若 $A$ 为上三角矩阵或下三角矩阵或对角矩阵，则 $\left | A \right |=\prod_{i=1}^{p}a_{ii}$
若 $A,B$ 均为 $p$ 阶方阵，则 $\left | AB \right |=\left | A \right |\left | B \right |$
$\left |AA^{'} \right |\geqslant 0$
若 $A,B$ 都是方阵，则 $\begin{vmatrix} A &C \\ 0 & B \end{vmatrix}=\begin{vmatrix} A &0 \\ C & B \end{vmatrix}=\left | A \right |\left | B \right |$
若 $A:p*q,B:q*p\Rightarrow \left | I_{p}+AB \right |=\left | I_{q}+BA \right |$ ；设 $x,y$ 为两个 $p$ 维向量，则 $\left | I_{p}+xy^{'} \right |=1+y^{'}x$

${\color{Blue} proof:}$

$\begin{pmatrix} I_{p} &A \\ 0& I_{q} \end{pmatrix}\begin{pmatrix} I_{p} & -A\\ B&I_{q} \end{pmatrix}=\begin{pmatrix} I_{p}+AB &0 \\ B & I_{q} \end{pmatrix}$

$\begin{pmatrix} I_{p} &0 \\ -B& I_{q}\end{pmatrix}\begin{pmatrix} I_{p} & -A\\ B&I_{q} \end{pmatrix}=\begin{pmatrix} I_{p} &-A \\0&I_{q}+AB \end{pmatrix}$

上述两个等式两边各取行列式，故得 $\left | I_{p}+AB \right |=\left | I_{q}+BA \right |$ 。

3.代数余子式

设 $A$ 为 $p$ 阶方阵，将其元素 $a_{ij}$ 所在得第 $i$ 行与第 $j$ 列划去之后所得 $(p-1)$ 阶矩阵的行列式，称为元素 $a_{ij}$ 的余子式，记为 $M_{ij}$ 。 $A_{ij}=(-1)^{i+j}M_{ij}$ 称为元素 $a_{ij}$ 的代数余子式。

$\left\{\begin{matrix} \left | A \right |=\sum_{i=1}^{p}a_{ij}A_{ij}=\sum_{j=1}^{p}a_{ij}A_{ij}\\ \sum_{j=1}^{p}a_{kj}A_{ij}=0(k\neq i)\\ \sum_{i=1}^{p}a_{ik}A_{ij}=0(k\neq j) \end{matrix}\right.$

四、矩阵的逆

1.定义

若方阵 $A$ 满足 $\left | A \right |\neq 0$ ，则称 $A$ 为非退化矩阵；若 $A=0$ ，则称 $A$ 为退化矩阵。
设 $A=(a_{ij})$ 是一非退化方阵，若方阵 $C$ 满足 $AC=I$ ，则称 $C$ 为 $A$ 的逆矩阵，记为 $C=A^{-1}$ ， $A^{-1}$ 必是一个非退化矩阵。令 $B^{'}=\frac{A_{ij}}{\left | A \right |}$ ，其中 $A_{ij}$ 是 $a_{ij}$ 的代数余子式，则容易验证 $AB=BA=I$ 。由于 $C=BAC=B$ ，因此 $A^{-1}$ 是唯一的，且 $\left (A^{-1} \right )^{-1}=A$

2.基本性质

$AA^{-1}=A^{-1}A=I$
$(A^{'})^{-1}=(A^{-1})^{'}$
若 $A,C$ 均为 $p$ 阶非退化方阵，则 $(AC)^{-1}=C^{-1}A^{-1}$
$\left | A^{-1} \right |=\left | A \right |^{-1}$
若 $A$ 为正交矩阵，则 $A^{-1}=A^{'}$
若 $A=diag(a_{11},a_{22},\cdots,a_{pp})$ 非退化（即 $a_{ii}\neq 0,i=1,2,\cdots,p$ ），则

$A^{-1}=diag(a_{11}^{-1},a_{22}^{-1},\cdots,a_{pp}^{-1})$

若 $A,B$ 为非退化方阵，则 $\begin{pmatrix} A &0 \\ 0 & B \end{pmatrix}^{-1}=\begin{pmatrix} A^{-1} &0 \\ 0 & B^{-1} \end{pmatrix}$

五、矩阵的秩

1.相关定义

一组同维向量 $a_{1},a_{2},\cdots,a_{n}$ ，若存在不全为0的常数 $c_{1},c_{2},\cdots,c_{n}$ ，使得 $c_{1}a_{1}+c_{2}a_{2}+\cdots+c_{n}a_{n}=0$ ，则称这组向量线性相关，否则称为线性无关。
矩阵 $A$ 的线性无关行向量的最大数目称为行秩，其线性无关列向量的最大数目称为列秩。矩阵的行秩和列秩必相等，故统一将其称为矩阵 $A$ 的秩，记作 $rank(A)$

2.基本性质

$rank(A)=0\Leftrightarrow A=0$
若 $A:p*q(A\neq 0)$ ，则 $1\leqslant rank(A)\leqslant min\left \{ p,q \right \}$ （若 $rank(A)=p$ ，则称 $A$ 为行满秩的；若 $rank(A)=q$ ，则称 $A$ 为列满秩的）
$rank(A^{'})=rank(A)$
$rank\begin{pmatrix} A &0 \\ 0& B \end{pmatrix}=rank\begin{pmatrix} 0 &A \\ 0& B \end{pmatrix}=rank(A)+rank(B)$
$rank(A,B)\leqslant min\left \{ rank(A),rank(B) \right \}$
$A,C$ 为非退化矩阵，则 $rank(ABC)=rank(B)$
$p$ 阶方阵 $A$ 是非退化的，当且仅当 $rank(A)=p$ （称作 $A$ 满秩）
$rank(AA^{'})=rank(A^{'}A)=rank(A)$

六、特征值、特征向量

1.相关定义

设 $A$ 是 $p$ 阶方阵，若对于一个数 $\lambda$ ，存在一个 $p$ 维非零向量 $x$ ，使得 $Ax=\lambda x$ ，则称 $\lambda$ 为 $A$ 的一个特征值或特征根，而称 $x$ 为 $A$ 的属于特征值 $\lambda$ 的一个特征向量
依该定义有， $(A-\lambda I)x=0(x\neq 0)\Rightarrow\left | A-\lambda I \right |=0$ ， $\left | A-\lambda I \right |$ 是 $\lambda$ 的 $p$ 次多项式，称为特征多项式。上式有 $p$ 个根（可能有重根），记作 $\lambda _{1},\lambda _{2},\cdots,\lambda _{p}$ ，它们可能是实数，也可能是复数（虽然 $A$ 是实数矩阵）。反过来，若 $\lambda _{i}$ 是上式的一个根，则 $A-\lambda _{i}I$ 为退化矩阵，故存在一个 $p$ 维非零向量 $x_{i}$ ，使得 $(A-\lambda _{i}I)x_{i}=0$ ，即 $\lambda _{i}$ 是 $A$ 的一个特征值，而 $x_{i}$ 是相应的特征向量。今后，一般取 $x_{i}$ 为单位向量，即满足 $x_{i}^{'}x_{i}=1$ 。

2.基本性质

$A,A^{'}$ 有相同的特征值
若 $A:p*q;B:q*p\Rightarrow AB,BA$ 有相同的非零特征值

$A,B:p*p\Rightarrow AB,BA$ 有完全相同的特征值

若 $A$ 为是对称矩阵，则 $A$ 的特征值全为实数， $p$ 个特征值按大小依次表示为

$\lambda _{1}\geqslant \lambda _{2}\geqslant \cdots\geqslant \lambda _{p}$

若 $\lambda _{i}\neq \lambda _{j}$ ，则相应的特征向量 $x_{i},x_{j}$ 必正交，即 $x_{i}^{'}x_{j}=0$

若 $A=diag(a_{11},a_{22},\cdots,a_{pp})$ ，则 $a_{11},a_{2},\cdots,a_{pp}$ 为 $A$ 的 $p$ 个特征值，相应的特征向量分别为 $e_{1}=(1,0,\cdots,0)^{'},e_{2}=(0,1,\cdots,0)^{'},\cdots,e_{p}=(0,0,\cdots,1)^{'}$
$\left | A \right |=\prod_{i=1}^{p}\lambda _{i}$ ，即 $A$ 的行列式等于其特征值的乘积。可见， $A$ 为非退化矩阵，当且仅当 $A$ 的特征值均不为0； $A$ 为退化矩阵，当且仅当 $A$ 至少有一个特征值为0。

若 $A$ 为 $p$ 阶对称矩阵，则存在正交矩阵 $T$ 及对角矩阵 $\Lambda =diag(\lambda _{1},\lambda _{2},\cdots,\lambda _{p})$ ，使得 $A=T\Lambda T^{'}$ 称之为 $A$ 的谱分解。

${\color{Blue} proof:}$

${\color{Blue} A=T\Lambda T^{'}\Leftrightarrow AT=T\Lambda }$

将 $T$ 按列向量分块，并记作 $T=\left ( t_{1},t_{2},\cdots,t_{p} \right )$ ，于是有

$(At_{1},At_{2},\cdots,At_{p})=\left ( \lambda _{1}t_{1}, \lambda _{2}t_{2},\cdots, \lambda _{p}t_{p} \right )\Rightarrow At_{i}=\lambda _{i}t_{i} ,i=1,2,\cdots,p$

这表明 $\lambda _{1},\lambda _{2},\cdots,\lambda _{p}$ 是 $A$ 的 $p$ 个特征值，而 $t_{1},t_{2},\cdots,t_{p}$ 为相应的（一组正交单位）特征向量。

${\color{Blue} A=T\Lambda T^{'}=(t_{1},t_{2},\cdots,t_{p})\begin{pmatrix} \lambda _{1} & & & \\ & \lambda _{2} & & \\ & & \lambda _{3}& \\ & & & \lambda _{4} \end{pmatrix}\begin{pmatrix} t_{1}^{'}\\ t_{2}^{'}\\ \vdots \\ t_{p}^{'} \end{pmatrix}=\sum_{i=1}^{p}\lambda _{i}t_{i}t_{i}^{'}}$

若 $A$ 为 $p*q$ 实数矩阵，则存在 $p$ 阶正交矩阵 $U$ 和 $q$ 阶正交矩阵 $V$ ，使得 $A=U\Lambda V^{'}$ ，其中 $\Lambda$ 的 $(i,i)$ 元素 $\lambda _{i}\geqslant 0,i=1,2,\cdots,min(p,q)$ ，其他元素均为零。正数 $\lambda _{i}$ 称为 $A$ 的奇异值，上述分解式称为奇异值分解

七、矩阵的迹

1.定义

设 $A$ 为 $p$ 阶方阵，则他的对角线元素之和称为 $A$ 的迹，记作 $tr(A)$ ，即

$tr(A)=a_{11}+a_{22}+\cdots+a_{pp}$

2.基本性质

$tr(AB)=tr(BA)\Rightarrow tr(ab^{'})=b^{'}a$
$tr(A)=tr(A^{'})$
$tr(A+B)=tr(A)+tr(B)$
$tr(\sum_{i=1}^{k}A_{i})=\sum_{i=1}^{k}tr(A_{i})$
$A=(a_{ij})_{p*q}\Rightarrow tr(A^{'}A)=tr(AA^{'})=\sum_{i=1}^{p}\sum_{j=1}^{q}a_{ij}^2$
设 $\lambda _{1},\lambda _{2},\cdots,\lambda _{p}$ 为方阵 $A$ 的特征值，则 $tr(A)=\lambda _{1}+\lambda _{2}+\cdots+\lambda _{p}$
若 $A$ 为投影矩阵，则 $tr(A)=rank(A)$

八、正定矩阵和非负定矩阵

1.定义

设 $A$ 是 $p$ 阶对称矩阵， $x$ 是一 $p$ 维向量，则 $x^{'}Ax$ 称为 $A$ 的二次型
若对一切 $x\neq 0$ ，有 $x^{'}Ax>0$ ，则称 $A$ 为正定矩阵，记作 $A>0$
若对一切，有 $x^{'}Ax\geqslant 0$ ，则称 $A$ 为非负定矩阵，记作 $A\geqslant 0$
对非负定矩阵 $A,B$ ， $A>B\Leftrightarrow A-B>0;A\geqslant B\Leftrightarrow A-B\geqslant 0$

2.基本性质

$A$ 是对称矩阵，则 $A$ 是正定（或非负定）矩阵，当且仅当 $A$ 的所有特征值均为正（或非负）
设 $A\geqslant 0$ ，则 $A$ 的秩等于 $A$ 的正特征值个数
$A>0\Rightarrow A^{-1}>0$
设 $A\geqslant 0$ ，则 $A>0\Leftrightarrow \left | A \right |\neq 0$
若 $A>0(A\geqslant 0)\Rightarrow \left | A \right |> 0(\left | A \right |\geqslant 0)$
$BB^{'}>0$ ，对一切矩阵 $B$ 成立
若 $A>0(\geqslant 0)$ ，则存在 $A^{\frac{1}{2}}>0(\geqslant 0)$ ，使得 $A=A^{\frac{1}{2}}A^{\frac{1}{2}}$ ， $A^{\frac{1}{2}}$ 称为 $A$ 的平方根矩阵。
设 $A\geqslant 0$ 是 $p$ 阶秩为 $r$ 的矩阵，则存在一个秩为 $r$ （即列满秩）的 $p*r$ 矩阵 $B$ ，使得 $A=BB^{'}$