线性代数(Linear Algebra)

摘自MOOC东南大学和同济大学《线性代数》
友情链接：高等代数-简书

矩阵(Matrix)

理解矩阵： https://blog.csdn.net/myan/article/details/647511

矩阵及其运算

矩阵的概念： $m\times n$ 矩阵是指下列数表$$\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$$矩阵常用大写黑体字母表示，如$A$或$A_{m\times n}$，有时也记 $(a_{ij})$或$(a_{ij}{)}_{m\times n}$ 。
其中$a_{ij}$叫做矩阵$A$中的$(i,j)$元素(entry)。
根据矩阵的元素所属的数域，可以将矩阵分为复矩阵和实矩阵。

几种特殊的矩阵
(1) 两个矩阵$A=(a_{ij}{)}_{m\times n},B=(a_{ij}{)}_{s\times t}$，若$m=s,n=t$，则$A$与$B$是同型矩阵(Homomorphic matrix)。
(2) 元全为零的矩阵称为零矩阵(zero matrix)，记作$O_{m\times n}$或$O$
(3) 行矩阵和列矩阵：$1\times n$型矩阵$(a_1,a_2,\cdots ,a_n)$只有一行，称为行矩阵(row matrix)或行向量。$m\times 1$型矩阵$\left(\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right)$只有一列，称为列矩阵(column matrix)或列向量。
(4) 行数和列数相等的矩阵为n阶方阵(n-order square matrix)或n阶矩阵。

几种特殊的方阵
(1) 上三角矩阵(upper triangular matrix)与下三角矩阵，未显示部分都为0。
$\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ & a_{22}& \cdots & a_{2n}\\ & & \ddots & ⋮\\ & & & a_{nn}\end{array}\right)$与$\left(\begin{array}{cccc}{a}_{11}& & & \\ a_{21}& a_{22}& & \\ ⋮& ⋮& \ddots & \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right)$
(2) 对角阵(diagonal matrix)：记作 $\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(a_{11},a_{22},\cdots ,a_{nn})$，当$a_{11}=a_{22}=\cdots =a_{nn}$时，称为数量矩阵(scalar matrix)，未显示部分都为0。
$\left(\begin{array}{cccc}{a}_{11}& & & \\ & a_{22}& & \\ & & \ddots & \\ & & & a_{nn}\end{array}\right)$
(3) 对角阵 $\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(1,1,\cdots ,1)$称为单位阵(identity matrix)，记作$E_n$或$I_n$
(4) 对称阵(symmetric matrix)与反对称阵(skew-symmetric matrix)：n阶方阵$A=(a_{ij}{)}_{n\times n}$，若$a_{ij}=a_{ji}$，称为n阶对称阵，若$a_{ij}=-a_{ji}$称为n阶反对称阵。

矩阵的线性运算(Matrix Algebra)
(1) 同型矩阵$A=(a_{ij}{)}_{m\times n}与B=(b_{ij}{)}_{m\times n}$，如果他们的元对应相等$a_{ij}=b_{ij}$，则称矩阵$A$与$B$相等，记作$A=B$
(2) 矩阵的加法： 同型矩阵$A=(a_{ij}{)}_{m\times n}与B=(b_{ij}{)}_{m\times n}$，$A+B=(a_{ij}+b_{ij}{)}_{m\times n}$

$A+O=A$
$A+B=B+A$
$(A+B)+C=A+(B+C)$

(3) 矩阵的数乘：数$k$与矩阵$A=(a_{ij}{)}_{m\times n}$，$kA=(k{a}_{ij}{)}_{m\times n}$

$(k+l)A=kA+lA,k(A+B)=kA+kB$
$(kl)A=k(lA)=l(kA)$
$kA=O⟺k=0或A=O$

矩阵的乘法
(1)矩阵的乘法：设矩阵$A=(a_{ij}{)}_{m\times n}与B=(b_{ij}{)}_{n\times p}$，定义$AB=(c_{ij}{)}_{m\times p}$，其中$c_{ij}=\sum _{k=1}^n{a}_{ik}{b}_{kj},(i=1,2,\cdots ,m;j=1,2,\cdots ,p)$

$A(BC)=(AB)C$
$A(B+C)=AB+AC;(B+C)A=BA+CA$
$k(AB)=(kA)B=A(kB)$
$AE=A;EA=A$

矩阵乘法不满足交换律和消去律
$AB\xcancel{=}BA$;
$AB=AC\xcancel{\Rightarrow }B=C$

(2) 方阵的幂：设A为n阶方阵，定义$A^1=A,A^2=AA,\cdots ,A^{k+1}=A^{k}A$

$A^k{A}^l=A^{k+l}$
$(A^k{)}^l=A^{kl}$

(3) 方阵的多项式：$f(A)=a_s{A}^s+a_{s-1}{A}^{s-1}+\cdots +a_{1}A+a_{0}E$

矩阵的转置(transpose)：设矩阵$A=(a_{ij}{)}_{m\times n},A^T=(a_{ji}{)}_{n\times m}$叫做矩阵 $A$的转置矩阵

$(A^T{)}^T=A$	$(A+B{)}^T=A^T+B^T$
$(kA{)}^T=k{A}^T$	$(AB{)}^T=B^T{A}^T$

矩阵的行列式：由n阶方阵A的元素所构成的行列式，称为A的行列式，记为$\det A$或$|A|$

$\det A^T=\det A$
$\det kA=k^n\det A$
$\det AB=\det A\cdot \det B$

分块矩阵(Block matrix)

矩阵的分块：根据运算的需要，结合矩阵本身的特点，在矩阵的行间和列间，分别用横线和竖线将矩阵划分为若干个子矩阵(submatrix)，此方法称为矩阵的分块，并称这种以子块为元的矩阵为分块矩阵。
$\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 5\end{array}\right)=\left(\begin{array}{cc}E& O\\ A_1& A_2\end{array}\right)$

分块对角阵(block diagonal matrix)：其中$A_1,A_2,\cdots ,A_s$是方阵，未显示部分都为0。
$A=\left(\begin{array}{cccc}{A}_1& & & \\ & A_2& & \\ & & \ddots & \\ & & & A_s\end{array}\right)$

按行和列分块：$A=(A_1,A_2,\cdots ,A_n);A=\left(\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_m\end{array}\right)$
证明：$A=O⟺A^{T}A=O$

分块矩阵的运算	条件
$A_{m\times n}\pm B_{m\times n}=(A_{rs}{)}_{p\times q}\pm (B_{rs}{)}_{p\times q}=(A_{rs}+B_{rs}{)}_{p\times q}$	加减法：两个同型矩阵进行同样的分块
$k{A}_{m\times n}=k(A_{rs}{)}_{p\times q}=(k{A}_{rs}{)}_{p\times q}$	数乘
$A_{m\times s}{B}_{s\times n}=(A_{ik}{)}_{p\times t}(B_{kj}{)}_{t\times q}=(C_{ij}{)}_{p\times q}$ 其中$$\begin{gathered} C_{ij}=\sum _{k=1}^t{a}_{ik}{b}_{kj} \\ (i=1,2,\cdots ,p;j=1,2,\cdots ,q) \end{gathered}$$	乘法：$B$的列分法和$A$的行分法一致
$A_{m\times n}=(A_{rs}{)}_{p\times q}\Rightarrow A^T=(A_{rs}^T{)}_{p\times q}$	分块转置

矩阵的初等变换

初等变换(elementary transformation)：行（列）初等变换
(1) 互换变换：$r_i\leftrightarrow r_j或c_i\leftrightarrow c_j$
(2) 倍乘变换：$r_i\times k或c_i\times k,其中k\ne 0$
(3) 倍加变换：$r_i+k{r}_j或r_i+k{r}_j$
若$A$经有限次初等变换变为$B$，则$A$与$B$等价(equivalent)，记为$A\cong B$
任何矩阵A经有限次初等变换都可化为以下形式之一
$\left(\begin{array}{cc}{E}_r& O\\ O& O\end{array}\right)$、$(E_r,O)$、$\left(\begin{array}{c}{E}_r\\ O\end{array}\right)$
称为矩阵A的等价标准型(equivalent standard form)，其中$r$为矩阵$A$的秩。
行阶梯型矩阵(Row echelon matrix)：任何矩阵都可以通过初等变换化为行阶梯型
(1) 零行：元素全为0的行
(2) 非零行：元素不全为0的行
(3) 非零首元：非零行第一个不为0的元素
(4) 若有零行，则在最下方；非零首元的列随行的增加而严格递增
$\left(\begin{array}{cccc}5& -3& 6& 8\\ & 1& -2& 6\\ & & & 2\\ & & & \end{array}\right)$
行最简型矩阵(Row simplest matrix)：任何矩阵都可以通过初等变换化为行最简型
(1) 行阶梯型矩阵
(2) 非零首元都是1
(3) 非零首元所在列的其他元素都是零
$\left(\begin{array}{cccc}1& 0& 6& 8\\ & 1& -2& 6\\ & & & 2\end{array}\right)$

初等矩阵(elementary matrix)：由单位矩阵$E$经一次初等变化得到的矩阵叫初等矩阵
三种初等变换对应着三种初等矩阵

初等变换	初等矩阵	逆变换	逆矩阵
$r_i\leftrightarrow r_j$	$E(i,j)$	$r_i\leftrightarrow r_j$	$E(i,j{)}^{-1}=E(i,j)$
$r_i\times k$	$E(i(k))$	$r_i\times \frac{1}{k}$	$E(i(k){)}^{-1}=E(i(\frac{1}{k}))$
$r_i+k{r}_j$	$E(ij(k))$	$r_i-k{r}_j$	$E(ij(k){)}^{-1}=E(ij(-k))$

定理 ：对矩阵$A_{m\times n}$进行一次行初等变换，相当于$m$阶初等矩阵左乘$A$；进行一次列初等变换，相当于$n$阶初等矩阵右乘$A$
推论 ：设$A$与$B$为$m\times n$矩阵
(1) 存在m阶初等矩阵$P_1,P_2,\cdots ,P_s$，使得$P_1{P}_2\cdots P_{s}A$为行阶梯型（行最简形）。
(2) 存在m阶初等矩阵$P_1,P_2,\cdots ,P_s$和n阶初等矩阵$Q_1,Q_2,\cdots ,Q_t$，使得$P_1{P}_2\cdots P_{s}A{Q}_1,Q_2,\cdots ,Q_t$为A的等价标准型。
(3) 若$A\cong B$
$⟺$存在可逆矩阵$P,Q$，使得$PA=AQ=B$
$⟺$存在可逆矩阵$P,Q$，使得$PAQ=B$

利用初等变换解矩阵方程：
(1) $AX=B\Rightarrow X=A^{-1}B$
利用行初等变换：$(A,B)\cong (E,A^{-1}B)$
(2) $YA=C\Rightarrow Y=C{A}^{-1}$
利用列初等变换：$\left(\begin{array}{c}A\\ B\end{array}\right)\cong \left(\begin{array}{c}E\\ C{A}^{-1}\end{array}\right)$
(3) 矩阵方程$AX=B$有解$⟺r(A)=r(A,B)$

逆矩阵

概念：对于n阶方阵$A$，如果存在n阶方阵$B$，使得$AB=BA=E$，则 $B$为$A$的逆矩阵，称$A$为可逆矩阵(invertible matrix)，记为$B=A^{-1}$

$(A^{-1}{)}^{-1}=A$	$(A^T{)}^{-1}=(A^{-1}{)}^T$
$(AB{)}^{-1}=B^{-1}{A}^{-1}$	$(kA{)}^{-1}=\frac{1}{k}{A}^{-1},(k\ne 0)$

定理 1
(1) 初等矩阵都可逆，且逆矩阵仍是同类型的初等矩阵
(2) A的逆矩阵$A^{-1}$是唯一的
(3) 对于矩阵$A$，存在可逆矩阵$P,Q$，使得$PAQ$为$A$的等价标准型
(4) 分块对角矩阵$A=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(A_1,A_2,\cdots ,A_s)$可逆$⟺A_1,A_2,\cdots ,A_s$均可逆

定理 2：$n$ 阶矩阵$A$ 可逆
$⟺A$可以写成有限个初等矩阵的乘积
$⟺A\cong E$（等价于单位矩阵）
$⟺\det A\ne 0$（非奇异矩阵）
$⟺r(A)=n$（满秩矩阵）
$⟺A$的行（列）向量组线性无关
$⟺$齐次线性方程组$Ax=0$只有零解
$⟺\forall b\in {\mathbb{R}}^n$，非齐次方程组$Ax=b$有唯一解
$⟺A$的特征值不全为零
$⟺A^{T}A$是正定矩阵
$⟺A$的行（列）向量组是 ${\mathbb{R}}^n$的一组基

伴随矩阵(adjoint matrix)：由行列式$|A|$的各个元素的代数余子式$A_{ij}$，所构成的矩阵$$A^{\ast }=\left(\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A_{22}& \cdots & A_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}\right)$$叫做矩阵$A$的伴随矩阵。$A{A}^{\ast }=A^{\ast }A=|A|E$

逆矩阵的计算
(1) 利用初等行变换：$(A,E)\cong (E,A^{-1})$
(2) 利用初等列变换：$\left(\begin{array}{c}A\\ E\end{array}\right)\cong \left(\begin{array}{c}E\\ A^{-1}\end{array}\right)$
(3) 利用伴随矩阵：$A^{-1}=\frac{1}{|A|}{A}^{\ast }$

矩阵的秩

概念：设矩阵$A_{m\times n}$
(1) 在矩阵$A$任取k行k列，位于这些行列交叉处的$k^2$个元素，不改变它们在$A$中所处的位置次序而得的k阶行列式，称为矩阵$A$的 k阶子式(minor)。
(2) 若矩阵$A$中有一个不等于零的$r$阶子式$D$，且所有$r+1$阶子式(如果存在的话)全等于零，那么$D$称为矩阵$A$的最高阶非零子式，数$r$称为矩阵$A$的秩(rank)，记作$r(A)=r$。(规定零矩阵的秩等于零)
若$r(A_{n\times n})=n$，则称$A$为满秩矩阵(full rank matrix)
若$|A_{n\times n}|\ne 0$，则称$A$为非奇异矩阵(non-singular matrix)

矩阵秩的性质：
(1) 行阶梯形矩阵的秩就等于非零行的行数
(2) 初等变换不改变矩阵的秩
若$A\cong B$，则 $r(A)=r(B)$
若$P,Q$可逆，则$r(PAQ)=r(A)$
(3) 若$|A_{n\times n}|=0$，则 $r(A)<n$
(4) $r(A^T)=r(A)$
(5) 矩阵秩的不等式：
0 ⩽ r ( A m × n ) ⩽ min ⁡ { m , n } 0⩽ r(A_{m× n})⩽\min\{m,n\} 0⩽r(Am×n​)⩽min{m,n}
max ⁡ { r ( A ) , r ( B ) } ⩽ r ( A , B ) ⩽ r ( A ) + r ( B ) \max\{r(A),r(B)\}⩽ r(A,B)⩽ r(A)+r(B) max{r(A),r(B)}⩽r(A,B)⩽r(A)+r(B)
r ( A B ) ⩽ min ⁡ { r ( A ) , r ( B ) } r(AB) ⩽ \min\{r(A),r(B)\} r(AB)⩽min{r(A),r(B)}
$r(A+B)⩽r(A)+r(B)$

线性方程组

概念
(1) 设有n个未知数m个方程的线性方程组(System of linear equations)
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n=b_m\end{array}$$当$b_1,b_2,\cdots ,b_n$不全为零时称为非齐次线性方程组(system of non-homogeneous linear equations)，当$b_1=b_2=\cdots =b_m=0$时称为齐次线性方程组(system of homogeneous linear equations)
(2) 如果存在n个常数$\{\begin{array}{l}{x}_1=s_1\\ x_2=s_2\\ \cdots \\ x_n=s_n\end{array}$ 满足线性方程组的所有方程，则称为线性方程组的一个解。
(3) 记$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$，$x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$，$b=\left(\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_m\end{array}\right),\bar{A}=(A,b)$
其中$A,b$分别是系数矩阵和常数项矩阵，$\bar{A}$为增广矩阵(augmented matrix)，方程组可化为 $Ax=b$

线性方程组求解：对增广矩阵作初等行变换变为行阶梯形矩阵（行最简形矩阵）
高斯消元法（Gaussian Elimination）
(1)两方程互换，解不变；
(2)一方程乘以非零数k，解不变；
(3)一方程乘以数k加上另一方程，解不变 。
由求解情况可知，解的情况完全由其系数 $a_{ij}$ 和常数项 $b_1,b_2,\cdots ,b_n$ 决定。

定理 $n$ 元线性方程组$Ax=b$
(1) 无解 $⟺r(A)<r(A,b)$
(2) 有惟一解 $⟺r(A)=r(A,b)=n$
(3) 有无限多解 $⟺r(A)=r(A,b)<n$

解的性质和解的结构
(1) $Ax=0$的任意两个解的线性组合仍是其解，一切解的集合构成向量空间，称为解空间
当$r(A)=r<n$时，解空间的基础解系含有$n-r$个线性无关的解向量 ${\eta }_1,{\eta }_2,\cdots ,{\eta }_{n-r}$，基础解系的一切线性组合$x=k_1{\eta }_1+k_2{\eta }_2+\cdots +k_{n-r}{\eta }_{n-r}$就是 $Ax=0$的通解
当$r(A)=r=n$时，解空间为零空间，没有基础解系
(2) $Ax=b$的任意两个解之差，必为其导出组$Ax=0$的解
一切解的集合不构成向量空间
任一解 ${\eta }_0$与其导出组通解 $\bar{x}$ 之和 $x={\eta }_0+\bar{x}$为其通解

最小二乘解(least squares solution)：
$x_0$为$Ax=b$的最小二乘解，即$\Vert b-A{x}_0\Vert =\underset{x\in {\mathbb{R}}^n}{\min }\Vert b-Ax\Vert ⟺x_0$满足$A^{T}A{x}_0=A^{T}b$

行列式(Determinant)

行列式的本质是什么？https://www.zhihu.com/question/36966326/answer/70687817

行列式(determinant)：行列式引自对线性方程组的求解
一阶行列式：$|a_{11}|=a_{11}$
二阶行列式：$\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}$
三阶行列式：
$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=a_{11}(-1{)}^{1+1}\left|\begin{array}{cc}{a}_{22}& a_{23}\\ a_{32}& a_{33}\end{array}\right|+a_{12}(-1{)}^{1+2}\left|\begin{array}{cc}{a}_{11}& a_{13}\\ a_{31}& a_{33}\end{array}\right|+a_{13}(-1{)}^{1+3}\left|\begin{array}{cc}{a}_{21}& a_{22}\\ a_{31}& a_{32}\end{array}\right|$
n阶行列式：
$$\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|=\sum _{k=1}^n{a}_{1k}{A}_{1k}$$其中，划去元$a_{ij}$所在的第$i$行与第$j$列的元，剩下的元不改变原来的顺序所构成的$n-1$阶行列式称为元$a_{ij}$的余子式(cofactor)，记为$M_{ij}$，元$a_{ij}$的代数余子式 (algebraic cofactor) $A_{ij}=(-1{)}^{i+j}{M}_{ij}$

二三阶行列式计算满足对角线法则，四阶及以上行列式不满足对角线法则。

n阶行列式按行（列）展开
$\sum _{k=1}^n{a}_{ik}{A}_{jk}=\{\begin{array}{l}D,(i=j)\\ 0,(i\ne j)\end{array}\sum _{k=1}^n{a}_{ki}{A}_{kj}=\{\begin{array}{l}D,(i=j)\\ 0,(i\ne j)\end{array}$
其中$A_{ij}$是行列式D中$a_{ij}$的代数余子式。

行列式的性质
(1) 行列式与其转置行列式相等：$D=D^T$
(2) 互换行列式两行（列），行列式改变符号：
$A\underset{(c_i\leftrightarrow c_j)}{\overset{r_i\leftrightarrow r_j}{\to }}B\Rightarrow |A|=-|B|$
(3) 用数$k$乘行列式等于行列式某一行（列）全部乘数$k$。
$A\underset{(k{c}_i)}{\overset{k{r}_i}{\to }}B\Rightarrow k|A|=|B|$
由此可得
a. 行列式某一行（列）的公因子可以提取到外面
b. 行列式某一行（列）全为零，则行列式值为零
(4) 若行列式中两行（列）对应元素成比例，则行列式值为零
(5) 把行列式的某一行全部$k$倍加到另一行对应元素，行列式值不变
$A\underset{(c_i+k{c}_j)}{\overset{r_i+k{r}_j}{\to }}B\Rightarrow |A|=|B|$
(6) 行列式的分拆定理，如
$\left|\begin{array}{ccc}{b}_{11}+c_{11}& b_{12}+c_{12}& b_{13}+c_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=\left|\begin{array}{ccc}{b}_{11}& b_{12}& b_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|+\left|\begin{array}{ccc}{c}_{11}& c_{12}& c_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|$
(7) 上、下三角行列式及主对角行列式等于主对角元素的乘积
副对角线上、下三角行列式及副对角行列式等于副对角元素的乘积$\times (-1{)}^{\frac{n(n-1)}{2}}$
(8) $|-A|=(-1{)}^n|A|$
(9) $\left|\begin{array}{cc}{A}_{m\times m}& C_{m\times n}\\ O& B_{n\times n}\end{array}\right|=|A|\times |B|$
(10) $\left|\begin{array}{cccc}{A}_1& & & \\ & A_2& & \\ & & \ddots & \\ & & & A_s\end{array}\right|=|A_1||A_2|\cdots |A_s|$，其中$A_1,A_2,\cdots ,A_s$都是方阵
(11) $|AB|=|A|\times |B|$，其中$A,B$为同阶方阵。

高阶行列式的计算
(1) 利用初等变换化为三角行列式
(2) 降价展开

范德蒙行列式(Vandermonde determinant)
$D_n=\left|\begin{array}{cccc}1& 1& \cdots & 1\\ a_1& a_2& \cdots & a_n\\ a_1^2& a_2^2& \cdots & a_n^2\\ ⋮& ⋮& ⋮& ⋮\\ a_1^{n-1}& a_2^{n-1}& \cdots & a_n^{n-1}\end{array}\right|=\prod _{1⩽i<j⩽n}(a_j-a_i)$

克拉默法则(Cramer rule)：如果n元线性方程组$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$$的系数行列式$D\ne 0$，那么他有唯一解$$x_j=\frac{D_j}{D},(j=1,2,\cdots ,n)$$其中$D_j$是把系数行列式$D$中的第$j$列换成常数项 $b_1,b_2,\cdots ,b_n$ 所得的行列式

n维向量(N-dimensional Vector)

向量的概念和运算

n维向量(N-dimensional vector)：n个有次序的数 $a_1,a_2,\cdots ,a_n$ 所组成的数组称为n维向量。
行向量 $\mathbf{a}=(a_1,a_2,\cdots ,a_n)$，列向量 $\mathbf{a}=\left(\begin{array}{c}{a}_1\\ a_2\\ \cdots \\ a_n\end{array}\right)$
分量全为实数的向量称为实向量；分量全为复数的向量称为复向量；
每个分量都是零的向量称为零向量，记作 $0$；
向量的线性运算及性质：向量的线性运算及性质同行（列）矩阵线性运算一致。
向量组：若干个同维数的列（行）向量所构成的集合叫做向量组(vector group)；含有限个向量的有序向量组与矩阵一一对应

向量组的线性表示与线性相关

向量的线性组合与线性表示：设向量组 $A:{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r$ ，向量 $\beta =k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_n{\alpha }_r$ 则$\beta$称为向量组的一个线性组合(linear combination)，或称$\beta$可由向量组$A$ 线性表示(linear representations)，$k_1,k_2,\cdots ,k_r$称为组合系数(combination coefficient)。
线性表示：$\beta =k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_n{\alpha }_r$
$⟺$线性方程组$Ax=\beta$ 有解 $x=(k_1,k_2,\cdots ,k_r{)}^T$
$⟺r(A)=r(A,\beta )$
向量组的线性表示与等价：设两向量组$A:{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r;B:{\beta }_1,{\beta }_2,\cdots ,{\beta }_s$
若向量组 $B$中每一个向量皆可由向量组 $A$线性表示，即 $B=A{K}_{r\times s}$ 则称向量组$B$可以由向量组 $A$ 线性表示。若向量组 $A$与向量组 $B$ 能相互线性表示，则称这两个向量组等价(equivalence)。
定理：向量组 $B$可以由向量组 $A$线性表示
$⟺$矩阵方程$AX=B$有解
$⟺r(A)=r(A,B)$
$⟹r(B)⩽r(A)$
推论：向量组B与向量组 A等价
$⟺$矩阵方程$AX=B$与$BY=A$同时有解
$⟺r(A)=r(B)=r(A,B)$

向量组线性相关与线性无关：向量组 $A:{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r$，如果存在不全为零的数$k_1,k_2,\cdots ,k_r$，使得$k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_n{\alpha }_r=0$则称向量组A 线性相关(linearly dependence)。否则向量组A 线性无关(Linear Independence)。

向量组线性相关的判别
定理：向量组 $A:{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$线性相关
$⟺m$元线性方程组 $Ax=0$ 有非零解
$⟺r(A)<m$
(1) 向量组线性相关$⟺$向量组中至少存在一个向量可以由其余向量线性表示
向量组线性无关$⟺$向量组中任意一个向量都不能由其余向量线性表示
(2) 若部分向量组线性相关，则整体向量组线性相关；若整体向量组线性无关，则它的任何部分组也线性无关
(3) 两个向量$\alpha$与$\beta$线性相关（无关）$⟺\alpha$与$\beta$的分量对应成比例（不成比例）
(4) 向量个数多余$n$的$n$维向量组必线性相关；含零向量的向量组必线性相关。
(5) 设${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$线性无关，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m,\beta$线性相关，则$\beta$可由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$线性表示
(6) 设$\beta$可由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$线性表示，则表示法唯一的充分必要条件是${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$线性无关

向量组的秩

定义：设向量组 $A$，在$A$选取$r$个向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r$满足：
(1) 向量组$A_0:{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_r$线性无关
(2) 向量组$A$中任取$r+1$个向量（若存在）都线性相关
则称$A_0$为最大（线性）无关组(Maximum linearly independent group)，所含的向量数$r$叫做向量组$A$的秩，记为$r_A=r$
注：
(1) 一个向量组的最大无关组是向量组中所含向量个数最多的线性无关的子组之一.
(2)一个向量组的最大无关组不一定是惟一的．
(3) 一个向量组与它的最大无关组是等价的

定理：矩阵的秩等于它的列向量组的秩，也等于它的行向量组的秩.

向量空间的概念和性质

向量空间(Vector spaces)： 设 $V$ 为 $n$ 维向量的非空集合，$F$ 是一个数域，若 $V$ 对于向量的加法和数乘两种运算封闭，那么称集合 $V$ 为数域 $F$ 上的向量空间。所谓封闭是指
(1) $\forall \alpha ,\beta \in V,\alpha +\beta \in V$
(2) $\forall \alpha \in V,\lambda \in F,\lambda \alpha \in V$

示例
(1) $n$维向量的全体${\mathbb{R}}^n$为向量空间： R n = { ( x 1 , x 2 , ⋯   , x n ) T ∣ x 1 , x 2 , ⋯   , x n ∈ R } \R^n=\{(x_1,x_2,\cdots,x_n)^T|x_1,x_2,\cdots,x_n\in\R\} Rn={(x1​,x2​,⋯,xn​)T∣x1​,x2​,⋯,xn​∈R}
(2) 由向量组 $a_1,a_2,\cdots ,a_m$ 所生成的向量空间为： L = { x = λ 1 a 1 + λ 2 a 2 + ⋯ + λ m a m ∣ λ 1 , λ 2 , ⋯   , λ m ∈ R } L=\{x=λ_1a_1+λ_2a_2+\cdots+λ_ma_m|λ_1,λ_2,\cdots,λ_m\in\R\} L={x=λ1​a1​+λ2​a2​+⋯+λm​am​∣λ1​,λ2​,⋯,λm​∈R}
(3) n 元齐次线性方程组的解集 { x = ( x 1 , x 2 , ⋯   , x n ) T ∈ R n ∣ A x = 0 } \{x=(x_1,x_2,\cdots,x_n)^T\in\R^n|Ax=0\} {x=(x1​,x2​,⋯,xn​)T∈Rn∣Ax=0}是向量空间， 齐次线性方程组的解空间

等价的向量组生成相同的向量空间。

子空间(subspaces)： 设有线性空间$V_1,V_2$，若$V_1\subset e{V}_2$，对于 $V_1$ 中
所定义的加法及乘数两种运算是封闭的，则称$V_1$是$V_2$的子空间(subspace)。
任何由 $n$ 维向量组成的线性空间都是 ${\mathbb{R}}^n$的子空间。

基和维数(basis and dimension)： 设$V$ 为数域 $F$ 上的向量空间，向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{r}}$为 $V$ 中的 $r$ 个向量，并且满足
(1) ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{r}}$线性无关
(2) $V$ 中的每个向量都可由 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{r}}$ 线性表示
则称向量组${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{r}}$为线性空间 $V$ 的一个基，而基中所含向量的个数 $r$，称为向量空间 $V$的维数，称$V$为$r$维向量空间，记为 $\dim V=r$

$n$维单位坐标向量组 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_{\mathbf{n}}$ 是${\mathbb{R}}^n$的自然基，$\dim {\mathbb{R}}^n=n$
${\mathbf{e}}_1=\left(\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right),{\mathbf{e}}_2=\left(\begin{array}{c}0\\ 1\\ ⋮\\ 0\end{array}\right),\cdots ,{\mathbf{e}}_{\mathbf{n}}=\left(\begin{array}{c}0\\ 0\\ ⋮\\ 1\end{array}\right)$
${\mathbb{R}}^n$中任意$n$个线性无关的 $n$维向量都是 ${\mathbb{R}}^n$的一组基。

向量组 $A:{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{m}}$所生成的向量空间
L = { x = λ 1 a 1 + λ 2 a 2 + ⋯ + λ m a m ∣ λ 1 , λ 2 , ⋯   , λ m ∈ R } L=\{\mathbf{x}=λ_1\mathbf{a_1}+λ_2\mathbf{a_2}+\cdots+λ_m\mathbf{a_m}|λ_1,λ_2,\cdots,λ_m\in\R\} L={x=λ1​a1​+λ2​a2​+⋯+λm​am​∣λ1​,λ2​,⋯,λm​∈R}
若${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{m}}$线性无关，则它是$L$的一个基；
若${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{m}}$线性相关，他的最大无关组 $A_0:{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{r}}$为$L$的一个基，$\dim L=r$

坐标(coordinate)：如果在 向量空间$V$中选定一组基 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{r}}$，那么空间中任意一向量可唯一表示为 $\mathbf{x}={\lambda }_1{\mathbf{a}}_1+{\lambda }_2{\mathbf{a}}_2+\cdots +{\lambda }_r{\mathbf{a}}_{\mathbf{r}}$，其中数组${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r$称为向量$\mathbf{x}$在基${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_{\mathbf{r}}$中的坐标。并记作 $\mathbf{x}=({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r{)}^T$

基变换与坐标变换

基变换(change of bases)：设${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{n}}$及${\beta }_1,{\beta }_2,\cdots ,{\beta }_{\mathbf{n}}$是$V_n$的两组基，他们之间的关系式$$({\beta }_1,{\beta }_2,\cdots ,{\beta }_{\mathbf{n}})=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{n}})P$$称为由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{n}}$到${\beta }_1,{\beta }_2,\cdots ,{\beta }_{\mathbf{n}}$的基变换公式，$n$维可逆矩阵 $P$ 为由基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{n}}$到基${\beta }_1,{\beta }_2,\cdots ,{\beta }_{\mathbf{n}}$的过渡矩阵(transition matrix)，显然 $P^{-1}$ 为由基${\beta }_1,{\beta }_2,\cdots ,{\beta }_{\mathbf{n}}$到基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{n}}$的过渡矩阵。
坐标变换(coordinate transformation)：设 $\mathbf{a}\in V_n$，它的基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{n}}$与基${\beta }_1,{\beta }_2,\cdots ,{\beta }_{\mathbf{n}}$下的坐标分别为$(x_1,x_2,\cdots ,x_n{)}^T$与$(x_1^{\prime },x_2^{\prime },\cdots ,x_n^{\prime }{)}^T$，则有坐标变换公式$$\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)=P\left(\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\\ ⋮\\ x_n^{\prime }\end{array}\right)或\left(\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\\ ⋮\\ x_n^{\prime }\end{array}\right)=P^{-1}\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$$

向量的内积、长度与正交性

内积(inner products)：设$n$维实向量 $\mathbf{x}=(x_1,x_2,\cdots ,x_n),\mathbf{y}=(y_1,y_2,\cdots ,y_n)$，定义内积为$$[\mathbf{x},\mathbf{y}]=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n={\mathbf{x}\mathbf{y}}^T$$

性质	表达式
对称性	$[\mathbf{x},\mathbf{y}]=[\mathbf{y},\mathbf{x}]$
线性	$$\begin{gathered} [\mathbf{x}+\mathbf{y},\mathbf{z}]=[\mathbf{x},\mathbf{z}]+[\mathbf{y},\mathbf{z}] \\ [k\mathbf{x},\mathbf{y}]=k[\mathbf{x},\mathbf{y}] \end{gathered}$$
正定性	$[\mathbf{x},\mathbf{x}]⩾0$

长度（模或范数）：实数 $\Vert \mathbf{x}\Vert =\sqrt{[\mathbf{x},\mathbf{x}]}=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}$
长度为1的向量称为单位向量。

性质	表达式
正定性	$\Vert \mathbf{x}\Vert ⩾0$
齐次性	$\Vert k\mathbf{x}\Vert =|k|\cdot \Vert \mathbf{x}\Vert$
三角不等式	$\Vert \mathbf{x}+\mathbf{y}\Vert ⩽\Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert$
柯西－施瓦兹不等式	${[\mathbf{x},\mathbf{y}]}^2⩽[\mathbf{x},\mathbf{x}][\mathbf{y},\mathbf{y}]$

向量之间的夹角：$\mathbf{x}$与$\mathbf{y}$的夹角$\theta =\arccos \frac{[\mathbf{x},\mathbf{y}]}{\Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert },(0⩽\theta ⩽\pi )$

正交(orthogonal)：若$[\mathbf{x},\mathbf{y}]=0$，则称向量$\mathbf{x},\mathbf{y}$正交
(1) 若向量组中的向量两两正交，且均为非零向量，则这个向量组称为正交（向量）组。正交向量组线性无关。
(2) 由单位向量组成的正交组称为规范正交组。如
$e_1=(1,0,0{)}^T,e_2=(0,1,0{)}^T,e_3=(0,0,1{)}^T$
(3) 若正交向量组为向量空间$V$上的一个基，则称为向量空间上的一个正交基(orthogonal basis)
(4) 若规范正交组为向量空间$V$上的一个基，则称为向量空间上的一个规范正交基(orthonormal basis)

向量组的正交化

若${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_{\mathbf{r}}$ 是向量空间$V$的一个规范正交基
$\forall \mathbf{x}\in V,\mathbf{x}={\lambda }_1{\mathbf{e}}_1+{\lambda }_2{\mathbf{e}}_2+\cdots +{\lambda }_r{\mathbf{e}}_{\mathbf{r}}⟹{\lambda }_i={{\mathbf{e}}_{\mathbf{i}}}^T\mathbf{x}=[\mathbf{x},{\mathbf{e}}_{\mathbf{i}}]$
这就是向量在规范正交基中的坐标的计算公式，利用这个公式能方便地求得向量的坐标.

施密特正交化法(Schimidt orthogonalization)
设${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{r}}$是向量空间$Ｖ$的一个基，寻找向量空间的一个规范正交基。也就是要找一组两两正交的单位向量 ${\xi }_1,{\xi }_2,\cdots ,{\xi }_r$与${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{r}}$等价。
此问题称为把基 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{r}}$ 规范正交化(orthonormalization)
(1) 正交化
令 ${\beta }_1={\alpha }_1,{\beta }_2={\alpha }_2-\frac{[{\beta }_1,{\alpha }_2]}{[{\beta }_1,{\beta }_1]}{\beta }_1,{\beta }_3={\alpha }_3-\frac{[{\beta }_1,{\alpha }_3]}{[{\beta }_1,{\beta }_1]}{\beta }_1-\frac{[{\beta }_2,{\alpha }_3]}{[{\beta }_2,{\beta }_2]}{\beta }_2,$
$\cdots ,{\beta }_r={\alpha }_r-\sum _{k=1}^{r-1}\frac{[{\beta }_k,{\alpha }_r]}{[{\beta }_k,{\beta }_k]}{\beta }_k$
则 ${\beta }_1,{\beta }_2,\cdots ,{\beta }_{\mathbf{r}}$ 正交，且与${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{r}}$等价
(2) 规范化
令${\xi }_1=\frac{{\beta }_1}{\Vert {\beta }_1\Vert },{\xi }_2=\frac{{\beta }_2}{\Vert {\beta }_2\Vert },\cdots ,{\xi }_r=\frac{{\beta }_r}{\Vert {\beta }_r\Vert }$
就得到$V$的一个规范正交基

正交矩阵与正交变换

正交矩阵(orthogonal matrix)：如果n阶矩阵A满足$A^{T}A=E$ (即$A^{-1}=A^T$)，那么称A为正交矩阵，简称正交阵。

正交矩阵的性质：$A$ 为正交阵
$⟺A$ 的行(列)向量组为规范正交向量组
$⟺A^T$为正交阵
$⟺A^{-1}$为正交阵
$⟹|A{|}^2=1$为正交阵
$A,B$ 为正交阵$⟹AB$ 为正交阵

正交变换(orthogonal transformation)：若为 $P$正交矩阵，则线性变换 $\mathbf{y}=P\mathbf{x}$称为正交变换。

$$\begin{gathered} \Vert \mathbf{y}\Vert =\sqrt{[\mathbf{y},\mathbf{y}]}=\sqrt{{\mathbf{y}}^{\mathbf{T}}\mathbf{y}} \\ =\sqrt{{\mathbf{x}}^{\mathbf{T}}{\mathbf{P}}^{\mathbf{T}}\mathbf{P}\mathbf{x}} \\ =\sqrt{{\mathbf{x}}^{\mathbf{T}}\mathbf{x}}=\sqrt{[\mathbf{x},\mathbf{x}]}=\Vert \mathbf{x}\Vert \end{gathered}$$
注：经正交变换后向量的长度保持不变，内积保持不变，从而夹角保持不变

相似矩阵(Similar Matrix)

矩阵的特征值和特征向量

定义
(1) 设$A$是$n$阶矩阵，如果数$\lambda$和$n$维非零向量$\mathbf{x}$满足$$A\mathbf{x}=\lambda \mathbf{x}$$,则这样的数$\lambda$称为矩阵$A$的特征值(eigenvalues)，向量$\mathbf{x}$称为$A$的对应于特征值$\lambda$的特征向量(eigenvectors)。
$A\mathbf{x}=\lambda \mathbf{x}⟺(A-\lambda E)\mathbf{x}=0$有非零解$⟺|A-\lambda E|=0$
(2) 以$\lambda$为未知数的一元n次方程$|A-\lambda E|=0$称为A的特征方程(characteristic equation)。矩阵A的特征值就是它的特征方程的根.
(3) $f(\lambda )=|A-\lambda E|$称为矩阵Ａ的特征多项式(characteristic polynomial)

特征值与特征向量的性质：
n 阶矩阵$A=(a_{ij})$ 在复数范围内有n个特征值，设特征值为${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，则
$\{\begin{array}{l}{\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=\mathrm{A}=a_{11}+a_{22}+\cdots +a_{nn}\\ {\lambda }_1{\lambda }_2\cdots {\lambda }_n=|A|\end{array}$

设 $\lambda$ 是方阵 $A$ 的特征值，则
$⟹$ $\lambda$ 是 $A^T$的特征值
$⟹$ 当 $A$可逆时，${\lambda }^{-1}$是 $A^{-1}$ 的特征值.
$⟹$ $\varphi (\lambda )$是$\varphi (A)$的特征值
$⟹$ 属于不同特征值的特征向量是线性无关的
$⟹$ 对应于不同特征值的线性无关的特征向量组，合起来仍是线性无关的

特征值与特征向量的求法
步骤： (1) 写出A的特征多项式 $|A-\lambda E|$
(2). 解特征方程得n个特征值 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$
(3). 对每个特征值 ${\lambda }_i$，求 $(A-{\lambda }_{i}E)\mathbf{x}=0$ 的基础解系，写出其全体非零线性组合，即得 ${\lambda }_i$ 的全体特征向量

相似矩阵

定义：设 $A,B$ 都是 $n$ 阶矩阵，若存在可逆阵 $P$ ,使得$P^{-1}AP=B$，则称A与B相似，记作$A\sim B$，对 A 进行运算 $P^{-1}AP$ 称为对 A进行相似变换(similarity transformation)。

性质：
(1) 相似关系为等价关系
反身性：$A\sim A$
对称性：$A\sim B⟹B\sim A$
传递性：$A\sim B,B\sim C⟹A\sim C$
(2) $A\sim B$
$⟹\varphi (A)\sim \varphi (B)$，其中$\varphi$是一个多项式
$⟹r(A)=r(B)且|A|=|B|$
$⟹|A-\lambda E|=|B-\lambda E|$，特征多项式相同
$⟹A$与 $B$ 的特征值相同
$⟹\mathrm{t}\mathrm{r}A=\mathrm{t}\mathrm{r}B$ 迹(trace)相等(主对角线上元素的和)

矩阵的相似对角化(Similar diagonalization)：若 $A_{n\times n}\sim \Lambda =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)=P^{-1}AP$ ，则称 $A$ 能相似对角化，对角线就是 $A$ 的 $n$ 个特征值。
假设已找到可逆阵 $P=(p_1,p_2,\cdots ,p_n)$，
由 $P^{-1}AP=\Lambda ⟹AP=P\Lambda ⟹A{p}_i={\lambda }_i{p}_i(i=1,2,\cdots ,n)$
可见 ${\lambda }_i$ 是$A$的特征值，而 $P$ 的列向量 $p_i$ 就是 $A$ 的对应于特征值 ${\lambda }_i$ 的特征向量。

定理 矩阵$A_{n\times n}$能相似对角化
$⟺A$有n个线性无关的特征向量
$⟺$ 对于$A$的每个$n_i$重特征值${\lambda }_i$，特征矩阵${\lambda }_{i}E-A$的秩为$n-n_i$
$⟸A$有n个互不相同的特征值

对称矩阵的对角化

对称矩阵特征值、特征向量的性质：设 $A_{n\times n}$ 为对称阵，特征值为${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$
(1) ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\in \mathbb{R}$
(2) 设 ${\lambda }_1,{\lambda }_2$ 是对称矩阵 $A$ 的两个特征值，$p_1,p_2$ 是对应的特征向量.，若 ${\lambda }_1\ne {\lambda }_2$ 则 $p_1,p_2$ 正交，即 $p_1^T{p}_2=0$
(3) 任意对称阵$A$，必有正交阵 $P$，使 $P^{-1}AP=P^{T}AP=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$

对称矩阵的正交对角化步骤：设 $A_{n\times n}$ 为对称阵
(1) 求出 $A$ 的全部特征值，设为 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s$（两两不同），每个特征值分别有$l_1,l_2,\cdots ,l_s$重（$l_1+l_2+\cdots +l_s=n$）
(2) 解 $(A-{\lambda }_{i}E)x=0$，求 $A$ 的 $l_i$ 个线性无关的 ${\lambda }_i$ 特征向量
(3) 各组内部正交化、单位化
(4) 将各组向量并排得正交阵 $P_{n\times n}$，则$P^{-1}AP=P^{T}AP=\Lambda =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$

二次型(Quadratic Form)

二次型及其标准型

概念：n元二次齐次多项式 $f(x_1,x_2,\cdots ,x_n)=\sum _{i=1}^n{a}_{ii}{x}_i^2+\sum _{1⩽i<j⩽n}2a_{ij}{x}_i{x}_j$
叫做二次型(quadratic form)，可表示为矩阵形式 $f={\mathbf{x}}^{T}A\mathbf{x}$，其中 $\mathbf{x}=(x_1,x_2,\cdots ,x_n{)}^T,A$为$n$阶对称矩阵；（二次型$f\leftrightarrow$实对称矩阵）
只含有平方项的二次型称为二次型的标准形(standard form)；（标准型$\leftrightarrow$对角矩阵）
系数全为"+1"或"-1"的标准型叫做（二次型）的规范型(gauge form)；
系数全为实数的二次型叫做实二次型。

二次型可通过满秩（或可逆）线性变换化为标准型

用正交变换将二次型标准化：具有保持几何形状不变的优点
定理：任意二次型 $f=\sum _{i,j=1}^n{a}_{ij}{x}_i{x}_j(a_{ij}=a_{ji})$，总有正交变换 $x=Py$ 化二次型为标准型 $f={\lambda }_1{y}_1^2+{\lambda }_2{y}_2^2+\cdots +{\lambda }_n{y}_n^2$，其中${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是$f$的矩阵$A=(a_{ij})$ 的特征值。
推论：任意$n$元二次型 $f={\mathbf{x}}^{T}A\mathbf{x}(A^T=A)$，总有可逆变换 $x=Cz$，使 $f(Cz)$ 为规范型。
具体步骤如下：
(1) 将二次型表成矩阵形式 $f={\mathbf{x}}^{T}A\mathbf{x}$，求出 $A$
(2) 求出 $A$的所有特征值${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$
(3) 求出对应于特征值的特征向量 ${\xi }_1,{\xi }_2,\cdots ,{\xi }_n$
(4) 将特征向量${\xi }_1,{\xi }_2,\cdots ,{\xi }_n$正交化、单位化，得 $P=(p_1,p_2,\cdots ,p_n)$
(5) 作正交变换 $x=Py$ 化二次型为标准型 $f={\lambda }_1{y}_1^2+{\lambda }_2{y}_2^2+\cdots +{\lambda }_n{y}_n^2$

拉格朗日配方法化二次型为标准型
主要步骤如下：
(1) 设二次型含有$x_i$的平方项，则把含有$x_i$的项集中，然后按$x_i$配成平方项，对其他变量也做类似处理，知道都配成平方项为止。
(2) 若在二次型中没有平方项，但 $a_{ij}\ne 0(i\ne j)$ ，则做可逆线性变换 $x_i=y_i-y_j,x_j=y_i+y_j,x_k=y_k(k\ne i,j)$，化二次型为含平方项的二次型，再按(1) 中的方法配方。

矩阵的合同与惯性定理

合同矩阵(congruent matrices;cogradient matrices)：设 $A$ 和 $B$ 是 $n$ 阶矩阵，若有可逆矩阵 $C$ ，使 $B=C^{T}AC$，则称矩阵 $A$ 与 $B$ 合同，记为$A\simeq B$
合同矩阵的性质
(1). 合同关系为等价关系
反身性：$A\simeq A$
对称性：$A\simeq B⟹B\simeq A$
传递性：$A\simeq B,B\simeq C⟹A\simeq C$
(2). 与对称矩阵合同的矩阵也是对称矩阵
(3). 合同矩阵具有相同的秩.

惯性定理 (inertia theorem)：设二次型$f={\mathbf{x}}^{T}A\mathbf{x}$的秩为$r$，有两个可逆变换 $x=Cy$及 $x=Pz$，
使 $f=k_1{y}_1^2+k_2{y}_2^2+\cdots +k_r{y}_r^2(k_i\ne 0)$
及 $f={\lambda }_1{z}_1^2+{\lambda }_2{z}_2^2+\cdots +{\lambda }_r{z}_r^2({\lambda }_i\ne 0)$
则 $k_1,k_2,\cdots ,k_r$中正数得个数与${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r$中正数得个数相等。

二次型的标准形中，
负系数的个数称为二次型的负惯性指数(Negative inertia index)
正系数的个数称为二次型的正惯性指数(Positive inertia index)
若二次型 $f$ 的正惯性指数为 $p$ ，秩为 $r$ ，
则 $f$ 的规范形便可确定为 $f=y_1^2+y_2^2+\cdots +y_p^2-y_{p+1}^2-\cdots -y_r^2$

正定二次型

定义：设二次型$f(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$，如果对任何 $\mathbf{x}\ne 0$ 都有 $f(\mathbf{x})>0$（显然$f(0)=0$），则称 $f$ 为正定二次型(positive definite quadratic form)，并称对称阵 $A$ 是正定矩阵(positive definite matrix)。
非退化线性替换不改变二次型的正定性。

正定矩阵的判别法：二次型$f(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}$ 正定，其中$\mathbf{x}=(x_1,x_2,\cdots ,x_n{)}^T$
$⟺\forall \mathbf{x}\ne 0,{\mathbf{x}}^{T}A\mathbf{x}>0$
$⟺A$的特征值全大于零
$⟺f$的正惯性指数为 $n$
$⟺A$与单位矩阵合同
$⟺$存在可逆矩阵$C$，使得 $A=C{C}^T$
$⟺A$的各阶顺序主子式均大于零
$D_1=a_{11}>0,D_2=\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|>0,\cdots ,D_n=|A|>0$

线性变换(Linear Transformation)

线性空间的定义与性质

线性空间(linear space)： 设 $V$ 为 非空集合，$\mathbb{R}$ 为实数域，若 $V$ 对于向量的加法和数乘两种运算封闭，且满足八条运算规律，那么称集合 $V$ 为实数域 $\mathbb{R}$ 上的线性空间。封闭是指
(1) $\forall \alpha ,\beta \in V,\exists !\gamma =\alpha +\beta \in V$
(2) $\forall \alpha \in V,\lambda \in \mathbb{R},\exists !\delta =\lambda \alpha \in V$

八条运算规律	$\alpha ,\beta ,\gamma \in V,\lambda ,\mu \in \mathbb{R}$
$(\mathbf{i})\alpha +\beta =\beta +\alpha$	$(\mathbf{i}\mathbf{i})(\alpha +\beta )+\gamma =\alpha +(\beta +\gamma )$
$(\mathbf{i}\mathbf{i}\mathbf{i})\exists \Theta \in V,\forall \alpha \in V,\alpha +\Theta =\alpha$ (零元素)	$(\mathbf{i}\mathbf{v})\forall \alpha \in V,\exists \beta \in V,\alpha +\beta =\Theta$ (负元素)
$(\mathbf{v})1\alpha =\alpha$	$(\mathbf{v}\mathbf{i})(\lambda \mu )\alpha =\lambda (\mu \alpha )$
$(\mathbf{v}\mathbf{i}\mathbf{i})(\lambda +\mu )\alpha =\lambda \alpha +\mu \alpha$	$(\mathbf{v}\mathbf{i}\mathbf{i}\mathbf{i})\lambda (\alpha +\beta )=\lambda \alpha +\lambda \beta$

说明：
(1) 满足八条运算规律的加法与数乘运算，就称为线性运算，
凡定义了线性运算的集合就称为线性空间，元 素就称为向量.
(2) 向量不一定是有序数组.
(3) 线性空间的运算不一定是有序数组的加法及数乘运算.

注意：
线性空间的概念是集合与运算二者的结合。同一个集合，若 定义两种不同的线性运算，就构成不同的线性空间； 若定义的运算不是线性运算，就不能构成线性空间。

线性空间实例
向量类：
(1).全体 n 维向量 $\mathbb{R}$ 在向量的加法与数乘下
(2).向量空间
(3).齐次线性方程组的解空间
矩阵类：
(1).全体 $m\times n$ 阵在矩阵加法和数乘下
(2).全体n阶方阵
(3).全体n阶对称阵
(4).全体n阶对角阵
多项式类：次数不超过 n 的实一元多项式的全体
P [ x ] n = { p = a n x n + ⋯ + a 1 x + a 0 ∣ a n , ⋯   , a 1 , a 0 ∈ R } P[x]_n=\{p=a_nx_n+\cdots+a_1x+a_0|a_n,\cdots,a_1,a_0\in\R\} P[x]n​={p=an​xn​+⋯+a1​x+a0​∣an​,⋯,a1​,a0​∈R}，
对于通常的多项式的加法和数乘多项式的乘法.
函数类：正弦函数的集合
S [ x ] = { s = A sin ⁡ ( x + B ) ∣ A , B ∈ R } S[x]=\{s=A\sin(x+B)|A,B\in\R\} S[x]={s=Asin(x+B)∣A,B∈R}，
对于通常的函数加法和数乘函数的乘法.

线性空间的基本性质
(1) 零元素 $\Theta$ 是惟一的
(2) 任一向量的负向量是惟一的，$\alpha$ 的负向量记作 $-\alpha$
(3) $0\alpha =\Theta ,(-1)\alpha =-\alpha ,\lambda \Theta =\Theta$
(4) $\lambda \alpha =\Theta ⟹\lambda =0或\alpha =\Theta$

子空间(subspace)：设 $V$ 是一个线性空间，$L$ 是 $V$ 的一个非空子集，如果 $L$对于$V$ 中所定义的加法和数乘两种运算也构成一个线性空间，则称 $L$ 为$V$ 的子空间.
定理 线性空间$V$ 的非空子集$L$ 构成子空间$⟺L$ 对于$V$ 中的线性运算封闭

基、维数和坐标：定义同向量空间

同构(isomorphism)：设U 与V 是两个线性空间，如 果它们的向量之间有一一对应关系，且 这个对应关系保持线性组合的对应，就说线性空间U 与V 同构，记作 $U\cong V$

设在n 维线性空间 $V_n$ 中取定一个基 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$ ，则$\forall \alpha ,\beta \in V_n$
$\alpha \leftrightarrow (x_1,x_2,\cdots ,x_n{)}^T,\beta \leftrightarrow (y_1,y_2,\cdots ,y_n{)}^T$
这个一一对应关系保持线性组合的对应：
(1) $\alpha +\beta \leftrightarrow (x_1,x_2,\cdots ,x_n{)}^T+(y_1,y_2,\cdots ,y_n{)}^T$
(2) $\lambda \alpha \leftrightarrow \lambda (x_1,x_2,\cdots ,x_n{)}^T$
称 $V_n$与 ${\mathbb{R}}^n$ 同构，记作 $V_n\cong {\mathbb{R}}^n$

任何n 维线性空间都与${\mathbb{R}}^n$ 同构，即维数相等的线性空间都同构。线性空间的结构完全被它的维数所决定。

基变换与坐标变换：同向量空间

线性空间 $p[x{]}_3$实例
(1) 取一个基$p_1=1,p_2=x,p_3=x^2,p_4=x^3$，求坐标
任一不超过3 次的多项式 $p=a_3{x}^3+a_2{x}^2+a_{1}x+a_0$
都可表示为 $p=a_0{p}_1+a_1{p}_2+a_2{p}_3+a_3{p}_4$
因此 $p$ 在这个基中的坐标为$(a_0,a_1,a_2,a_3{)}^T$
(2) 任取两个基，求坐标变换公式
$\begin{array}{cc}{a}_1=x^3+2x^2-x& b_1=2x^3+x^2+1\\ a_2=x^3-x^2+x+1& b_2=x^2+2x+2\\ a_3=-x^3+2x^2+x+1& b_3=-2x^3+x^2+x+2\\ a_4=-x^3-x^2+1& b_4=x^3+3x^2+x+2\end{array}$
将 $b_1,b_2,b_3,b_4$ 用 $a_1,a_2,a_3,a_4$ 表示
$$\begin{gathered} (a_1,a_2,a_3,a_4)=(x^3,x^2,x,1)A, \\ (b_1,b_2,b_3,b_4)=(x^3,x^2,x,1)B \end{gathered}$$，求得

$A=\left(\begin{array}{cccc}1& 1& -1& -1\\ 2& -1& 2& -1\\ -1& 1& 1& 0\\ 0& 1& 1& 1\end{array}\right),B=\left(\begin{array}{cccc}2& 0& -2& 1\\ 1& 1& 1& 3\\ 0& 2& 1& 1\\ 1& 2& 2& 2\end{array}\right)$

$(b_1,b_2,b_3,b_4)=(a_1,a_2,a_3,a_4)A^{-1}B$

故坐标变换公式为 $\left(\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\\ x_3^{\prime }\\ x_4^{\prime }\end{array}\right)=B^{-1}A\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right)$

用矩阵的初等行变换求 $B^{-1}A$
$(B,A)\sim (E,B^{-1}A)$

线性变换

变换(transformation)：设$A,B$是两个非空集合，如果对于$A$中任一元素$\alpha$，按某法则总有$B$中唯一确定的元素$\beta$与之对应，则称这个对应法则为从集合$A$到集合$B$的变换（或映射），若记此法则为$T$，则上述变换可表示为：$\beta =T(\alpha )$或$\beta =T\alpha$，并称$\alpha$为源，$\beta$为像，$A$为源集，像的全体组成的集合称为像集。

线性变换(linear transformation)：设$V_n,U_m$分别为$n$维和$m$维线性空间，线性变换 $T:V_n\to U_m$满足
(1) $\forall \alpha ,\beta \in V_n,T(\alpha +\beta )=T(\alpha )+T(\beta )$
(2) $\forall \alpha \in V_n,k\in \mathbb{R},T(k\alpha )=kT(\alpha )$
特别的，从$V_n$到自身的线性变换叫做$V_n$中的线性变换。
实例：在线性空间 $p[x{]}_3$ 中
任取 $$\begin{gathered} p=a_3{x}^3+a_2{x}^2+a_{1}x+a_0 \\ q=b_3{x}^3+b_2{x}^2+b_{1}x+b_0 \end{gathered}$$
微分运算$D$ 是一个线性变换：$Dp=3a_3{x}^2+2a_{2}x+a_1;Dq=3b_3{x}^2+2b_{2}x+b_1$
$$\begin{gathered} D(p+q)=Dp+Dq \\ D(\lambda p)=\lambda Dp \end{gathered}$$

线性变换的基本性质
(1) $T(\Theta )=\Theta ,T(-\alpha )=-T(\alpha )$
(2) 若 $\beta =k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_m{\alpha }_m$，则$T(\beta )=k_{1}T({\alpha }_1)+k_{2}T({\alpha }_2)+\cdots +k_{m}T({\alpha }_m)$
(4) 线性变换$T$ 的像集 $T(V_n)$ 是一个线性空间，称为线性变换 $T$ 的像空间(image space)
(5) 集合 { α ∣ α ∈ V n , T ( α ) = Θ } \{α|α\in V_n,T(α)=Θ\} {α∣α∈Vn​,T(α)=Θ} 也是一个线性空间，称为线性变换 $T$ 的核(kernel)

线性变换的矩阵表示：设线性空间$V_n$的一组基为${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{n}}$，此基的像分别为
$$\begin{gathered} T({\alpha }_1)=P_{11}{\alpha }_1+P_{12}{\alpha }_2+\cdots +P_{1n}{\alpha }_n \\ T({\alpha }_2)=P_{21}{\alpha }_1+P_{22}{\alpha }_2+\cdots +P_{2n}{\alpha }_n \\ \cdots \\ T({\alpha }_n)=P_{n1}{\alpha }_1+P_{n2}{\alpha }_2+\cdots +P_{nn}{\alpha }_n \end{gathered}$$
即 $(T({\alpha }_1),T({\alpha }_2),\cdots ,T({\alpha }_n))=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{n}})P$
此处的$P=\left(\begin{array}{cccc}{P}_{11}& P_{12}& \cdots & P_{1n}\\ P_{21}& P_{22}& \cdots & p_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ p_{n1}& p_{n2}& \cdots & p_{nn}\end{array}\right)$
称为线性空间$V_n$中线性变换$T$在基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{\mathbf{n}}$下的矩阵

同一线性变换在不同基下的矩阵的关系
定理 ：设线性空间$V_n$取定两个基 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n;{\beta }_1,{\beta }_2,\cdots ,{\beta }_n$ ，且两个基有变换公式 $({\beta }_1,{\beta }_2,\cdots ,{\beta }_n)=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)P$，$V_n$ 中的线性变换 $T$ 在这两个基下的矩阵分别是 $A$ 与 $B$，则 $B=P^{-1}AP$

秩的定义：线性变换 $T$ 的像空间 $T(V_n)$ 的维数, 称为线性变换 $T$ 的秩(rank)
(1) 若 $A$ 是 $T$ 的矩阵, 则 $T$ 的秩就是 $r(A)$
(2) 若 $T$ 的秩为 $r$ , 则 $T$ 的核 $N_T$ 的维数为 $n-r$