线性代数基本概念

线性代数基本概念

1. 矩阵基本概念

m行n列矩阵 $A_{m\times n}$

n阶方阵 $A_{n\times n}$，左上角到右下角为主对角线，右上角到左下角为副对角线，位于主对角线上元素称为对角元。

对角矩阵 $diag(a_{11},a_{22},a_{33},\cdots ,a_{n}n)$ 。还有上三角矩阵，下三角矩阵。对角元全为1的方阵为单位矩阵。

若矩阵A和矩阵B的行数和列数相同，则称矩阵A和B为同型矩阵。若A和B同型并且对应元素相同，则A=B。

有方程$Ax=b$，增广矩阵为$[A,b]$。

转置矩阵 $A^T$。$(AB{)}^T=B^T{A}^T$

对称矩阵 $A=A^T$，反称矩阵 $A=-A^T$

行向量 $a^T$；列向量 $a$

分块矩阵 用若干条横竖线将矩阵A分成许多小子矩阵

常用的分块方法

1. A
2. $A=[a_1,a_2,\cdots ,a_n]$
3. $A=\left[\begin{array}{c}{b}_1^T\\ b_2^T\\ \cdots \\ b_n^T\end{array}\right]$

$$A=\left[\begin{array}{cc}{A}_{11}& A_{12}\\ A_{21}& A_{22}\end{array}\right]$$

矩阵初等变换

初等行变换

• 对调行变换 $r_i\leftrightarrow r_j$
• 倍乘行变换
• 倍加行变换 $r_j+k{r}_i$

初等列变换和初等行变换统称为初等变换。

A和B等价 A经过有限次初等变换成B，称A和B等价或者A和B相抵。

初等矩阵 由单位矩阵E经过一次初等变换得到的矩阵。

定理 对于任意方阵A，只用有限次倍加行变换或者有限次倍加列变换都能将A化为上三角矩阵。

定理 对于任何$m\times n$非零矩阵A，必能用初等变换将它化为$F=\left[\begin{array}{cc}{E}_s& O\\ O& O\end{array}\right]$。F称为A的等价相抵型。

2. 行列式

余子阵A(i,j) 从方阵$A_{m\times n}$中去掉$a_{ij}$所在的第i行，第j列所余下的n-1阶方阵。

方阵A的行列式 $|A|$或者$det(A)={\sum }_{k=1}^n{a}_{k1}(-1{)}^{k+1}A(k,1)$

代数余子式 $A_{ij}=(-1{)}^{i+j}det(A(i,j))$

行列式的性质

• $|A^T|=|A|$
• 行列式可以在任意一行或者一列展开
• 行列式的线性性质
  • $|a_1,\cdots ,k{a}_j,\cdots ,a_n|=k|a_1,\cdots ,a_j,\cdots ,a_n|$
  • $|a_1,\cdots ,a_j+b,\cdots ,a_n|=|a_1,\cdots ,a_j,\cdots ,a_n|+|a_1,\cdots ,b,\cdots ,a_n|$
• 倍加行列变换不改变行列式的值
• 对调行列变换使行列式值*-1
• 行列式某一列的每个元素乘以另一列对应元素的代数余子式之和为零

分块三角行列式
$$\left|\begin{array}{cc}A& C\\ O& B\end{array}\right|=|A||B|$$
设A和B为n阶方阵，则称$|AB|=|A||B|$

3. 可逆矩阵

可逆矩阵 对于n阶方阵A，若存在n阶方阵B，使得$AB=BA=E$，则称A或者B为可逆矩阵，并且$A^{-1}=B$

定理 若A是可逆矩阵，则A的逆矩阵是唯一的。

伴随矩阵
$$A^{\ast }=\left[\begin{array}{cccc}{A}_{11}& A_{21}& \cdots & A_{n1}\\ A_{12}& A22& \cdots & A_{n2}\\ \cdots & \cdots & \cdots & \cdots \\ A_{1n}& A_{2n}& \cdots & A_{nn}\end{array}\right]$$
定理 设A为方阵，则$A{A}^{\ast }=A^{\ast }A=|A|E$。

方阵A可逆的充要条件为$|A|\ne 0$。并且当A可逆时，$|A^{-1}|=\frac{1}{|A|},A^{-1}=\frac{A^{\ast }}{|A|}$

对于方阵A，若$|A|=0$，称为奇异矩阵。若$|A|\ne 0$，称为非奇异矩阵。

若方阵AB满足$AB=E$，则A和B都可逆，并且$A^{-1}=B$并且$B^{-1}=A$。

若A和B为同阶可逆矩阵，则AB也可逆，且$(AB{)}^{-1}=B^{-1}{A}^{-1}$

4. 数量积、向量积

两个向量的数量积是一个数，记作$\vec{a}\cdot \vec{b}=|\vec{a}||\vec{b}|cos\theta$

叉乘积$\vec{a}\times \vec{b}=\left[\begin{array}{ccc}\vec{i}& \vec{j}& \vec{k}\\ a_x& a_y& a_z\\ b_x& b_y& b_z\end{array}\right]$

5. 线性相关性和矩阵的秩

对于向量组$a_1,a_2,\cdots ,a_n,b$，若存在n个数$k_1,k_2,\cdots ,k_n$，使得$b=k_1{a}_1+k_2{a}_2+\cdots +k_n{a}_n$，则称向量b可由向量$a_1,a_2,\cdots ,a_n$线性表示。

若存在n个不全为0的数$k_1,k_2,\cdots ,k_n$，使得$k_1{a}_1+k_2{a}_2+\cdots +k_n{a}_n=0$，则称该向量组线性相关。

当且仅当$k_1,k_2,\cdots ,k_n$全为零时，才使$k_1{a}_1+k_2{a}_2+\cdots +k_n{a}_n=0$成立，则称该向量组线性无关。

定理 向量组$a_1,a_2,\cdots ,a_n$线性相关的充要条件为该向量组中至少有一个向量能被其他向量线性表示。

在向量组V中，若有含r个向量的子向量组线性无关，并且V中任何含r+1个向量的向量组都线性相关，则把r称为向量组V的秩。

若向量组V的秩为r，则V中含r个线性无关的子向量组称为极大无关组。

向量组V中每个向量都可由其极大无关组唯一的线性表示。

设A为$m\times n$矩阵， 1 < = k < = m i n { m , n } 1<=k<=min\{m,n\} 1<=k<=min{m,n}，由矩阵A的任意k个行和任意k个列相交处的$k^2$个元素按照原来的相对位置所构成的方阵叫做矩阵A的k阶子阵，其行列式叫做矩阵A的k阶子式。

矩阵A中非奇异子阵的最高阶数称为A的秩，记作$r(A)$

矩阵秩的性质

• $r(A^T)=r(A)$
• $r(A)$=A的行秩=A的列秩
• 初等变换不改变矩阵的秩
• A的秩为r$\leftrightarrow$ A与$F=\left[\begin{array}{cc}{E}_r& O\\ O& O\end{array}\right]$等价，说明存在可逆矩阵$P,Q$，使得$PAQ=F$
• 设$A_{m\times n},B_{s\times t},C_{m\times t}$矩阵，则
  • $r(\left[\begin{array}{cc}A& O\\ O& B\end{array}\right])=r(A)+r(B)$
  • $r(\left[\begin{array}{cc}A& C\\ O& B\end{array}\right])>=r(A)+r(B)$
• 设$A_{m\times k}$,$B_{k\times n}$， 则 r ( A ) + r ( B ) − k < = r ( A B ) < = m i n { r ( A ) , r ( B ) } r(A)+r(B)-k<=r(AB)<=min\{r(A),r(B)\} r(A)+r(B)−k<=r(AB)<=min{r(A),r(B)}

若A为方阵，当$r(A)=n$时，A称为满秩矩阵。

若向量组$I:b_1,b_2,\cdots ,b_n$中每个向量能够被向量组$II:a_1,a_2,\cdots ,a_n$线性表示，则称向量组$I$能够被向量组$II$线性表示。如果向量组$I$和向量组$II$能够互相线性表示，则称之为等价向量组。

6. 线性方程组

定理 $m\times n$型齐次线性方程组$Ax=0$只有零解的充要条件为$r(A)=n$，存在非零解的充要条件为$r(A)<n$。

定理 设$Ax=b$为$m\times n$型非齐次线性方程组，则

• $Ax=b$有解$\leftrightarrow$$r([A,b])=r(A)$
• $Ax=b$有唯一解$\leftrightarrow r([A,b])=r(A)=n$

线性方程组解的性质

齐次线性方程组$Ax=0$的解集为S的极大无关组称为该齐次方程组的基础解系。若$v_1,v_2,\cdots ,v_n$为齐次方程组$Ax=0$的解，则$k_1{v}_1+k_2{v}_2+\cdots +k_n{v}_n$为$Ax=0$的解。

若$u$为非齐次线性方程组$Ax=b$的解，$v$为$Ax=0$的解，则$u+v$为$Ax=b$的解。

非齐次线性方程组$Ax=b$的两个解$u_1$和$u_2$的差$u_1-u_2$为$Ax=0$的解。

若$u_1,u_2,\cdots ,u_s$为齐次线性方程组$Ax=b$的解，则

• $k_1{u}_1+k_2{u}_2+\cdots +k_s{u}_s$为$Ax=0$的解，则$k_1+k_2+\cdots +k_n=0$
• $k_1{u}_1+k_2{u}_2+\cdots +k_s{u}_s$为$Ax=b$的解，则$k_1+k_2+\cdots +k_n=1$

定理 齐次线性方程组$Ax=0$的解集S的秩为$r(S)=n-r(A)$，即$Ax=0$的基础解系所含向量的个数为$n-r(A)$，其中n为未知数的个数，即A的列数。

设$A_{m\times n}$，则$r(A^{T}A)=r(A{A}^T)=r(A)$。

设u为非齐次线性方程组$Ax=b$的一个已知解，$v_1,v_2,\cdots ,v_{n-r}$为$Ax=0$的基础解系，则$Ax=b$的通解为$x=k_1{v}_1+k_2{v}_2+\cdots +k_n{v}_n$

7. 向量空间及向量的正交性

设V为n元向量的集合，如果V非空，并且对于向量的线性运算封闭，即对任意的$v_1\in V,v_2\in V,k\in R$，都有$v_1+v_2\in V,k{v}_1\in V$，则称V是一个向量空间。

齐次线性方程组$Ax=0$的所有解向量构成的集合S是一个向量空间，称之为齐次线性方程组的解空间。

设$a_1,a_2,\cdots ,a_m$是m个已知的n元向量，则集合 V = { v = ∑ j = 1 m x j a j ∣ x 1 , x 2 , ⋯   , x n ∈ R } V=\{v=\sum_{j=1}^mx_ja_j|x_1,x_2,\cdots,x_n\in R\} V={v=∑j=1m​xj​aj​∣x1​,x2​,⋯,xn​∈R}是一个向量空间，将之称为由向量$a_1,a_2,\cdots ,a_n$所生成的向量空间。通常记作 V = s p a n { a 1 , a 2 , ⋯   , a n } V=span\{a_1,a_2,\cdots,a_n\} V=span{a1​,a2​,⋯,an​}。

设$V_1$和$V_2$是两个向量空间。若$V_1\subseteq V_2$，则称$V_1$是$V_2$的子空间。

若$V_1\subseteq V_2$且$V_2\subseteq V_1$，则称这两个向量空间相等，记作$V_1=V_2$。

向量空间V的一个极大无关组称为V的一个基。V的秩称为V的维数，记为$dim(V)$。若$dim(V)=r$，则称V为r维向量空间。

定理 设V是n维向量空间，m<n,则V中任一线性无关的向量组$v_1,v_2,\cdots ,v_m$都可扩充为V的一个基。

设$a_1,a_2,\cdots ,a_n$是n维向量空间V的一个基，对任意向量$b\in V$，把满足$b=x_1{a}_1+x_2{a}_2+\cdots +x_n{a}_n$的有序数$x_1,x_2,\cdots ,x_n$叫做向量b在这个基下的坐标。 $\vec{x}=[x_1,x_2,\cdots ,x_n{]}^T$称为向量$\vec{b}$在这个基下的坐标向量。

设$a_1,a_2,\cdots ,a_n$为n维向量空间V的一个基，称为旧基，则V的另外一个基称为新基。

$[b_1,b_2,\cdots ,b_n]=[a_1,a_2,\cdots ,a_n]P$

称P为从旧基$[a_1,a_2,\cdots ,a_n]$到新基$[b_1,b_2,\cdots ,b_n]$的过渡矩阵。

设$\vec{a}=[a_1,a_2,\cdots ,a_n{]}^T,\vec{b}=[b_1,b_2,\cdots ,b_n{]}^T$是两个实向量，$\vec a $和$\vec b$的\ast \ast 内积\ast \ast 记作$(\vec a,\vec b)$，规定$(\vec a,\vec b)=a_1b_1+a_2b_2+\cdots+a_nb_n$。也可以用矩阵运算表示内积$(\vec a,\vec b)=a^Tb$。

定义了内积的向量空间称为欧式空间。

实向量$\vec{a}=[a_1,a_2,\cdots ,a_n{]}^T$的长度，也称为范数，记作$\Vert \vec{a}\Vert$，规定$\Vert \vec{a}\Vert =\sqrt{a_1^2+a_2^2+\cdots +a_n^2}$

当$\Vert \vec{a}\Vert =1$时，$\vec{a}$为单位向量；对于非零向量$\vec{a}$，称$\frac{\vec{a}}{\Vert \vec{a}\Vert }$为$\vec{a}$的单位化向量。

当$\vec{a}\ne 0,\vec{b}\ne 0$时，$\theta =arccos\frac{(\vec{a},\vec{b})}{\Vert \vec{a}\Vert \Vert b\Vert }$称为向量$\vec{a}$和向量$\vec{b}$的夹角。

并且定义当$\theta =0$时，即$a^{T}b=0$时，称向量$\vec{a}$和向量$\vec{b}$正交。

由两两正交的非零向量组成的向量组称为正交向量组。由单位向量组成的正交向量组称为标准化正交向量组。

定理 正交向量一定线性无关。

施密特正交化 将一组线性无关的向量组转化为正交向量组。

假设$a_1,a_2,\cdots ,a_n$是一个线性无关的向量组
$$\{\begin{array}{l}{b}_1=a_1\\ b_j=a_j-{\sum }_{i=1}^{j-1}\frac{b_i^T{a}_j}{\Vert b_i^2\Vert }{b}_i(j=2,3,\cdots ,m)\end{array}$$
则$b_1,b_2,\cdots ,b_n$为正交向量组。然后将之单位化，$b_i=\frac{b_i}{|b_i|}$。

若实方阵A满足$A^{T}A=E$，则称A为正交矩阵。

正交矩阵的性质

A，B为同阶正交矩阵

• A可逆，且$A^{-1}=A^T$
• $A^T$为正交矩阵，$A^{-1}$也为正交矩阵。
• AB为正交矩阵
• $|A|=1or-1$

实方阵A为正交矩阵的充要条件为$A$的列向量组为标准正交向量组。

8 方阵的特征值和相似对角化

设A为n阶方阵，$\lambda$为变量，把$|\lambda E-A|=0$的根称为A的特征值(单根称为单特征值，重根称为重特征值)。

设${\lambda }_i$是A的特征值，则齐次线性方程组$({\lambda }_{i}E-A)x=0$的非零解向量称为A的对应于${\lambda }_i$的特征向量。将$|{\lambda }_{i}E-A|=0$称为A的特征方程。

性质 n阶方阵A在复数域内有且只有n个特征值(k重特征值有k个)。

$|\lambda E-A|={\lambda }^n-tr(A){\lambda }^{n-1}+\cdots +(-1{)}^n|A|$ 称为特征多项式。

$tr(A)$称为A的迹，等于A的n个对角元之和。

若n阶方阵A的特征值为${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，则

• $tr(A)={\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n$
• ${\lambda }_1{\lambda }_2\cdots {\lambda }_n=|A|$

推论

• 方阵A可逆，则${\lambda }_1{\lambda }_2\cdots {\lambda }_n=|A|\ne 0$，则${\lambda }_1\ne 0,{\lambda }_2\ne 0,\cdots ,{\lambda }_n\ne 0$
• 设A为n阶方阵，则$\lambda$为A的特征值且$p$是$\lambda$对应的特征向量$\leftrightarrow$ 数$\lambda$和n元非零向量$p$满足$Ap=\lambda p$
• 若$\lambda$是方阵A的特征值，p是对应的特征向量，k是正整数，则${\lambda }^k$是$A^k$的特征值，p仍是对应的特征向量。
• 可以验证$f(A)p=f(\lambda )p$。
• 设$\lambda$为可逆矩阵A的特征值，p是对应的特征向量，则${\lambda }^{-}1$和$|A|{\lambda }^{-1}$分别是$A^{-1}$和$A^{\ast }$的特征值，p仍然是对应的特征向量。
• 方阵$A^T$和A的特征值相同。
• 设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是方阵A的互异特征值，则它们分别对应的特征向量$p_1,p_2,\cdots ,p_n$一定线性无关。
• 设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是方阵A的互异特征值，$p_{i1},p_{i2},\cdots ,p_{i{r}_i}$是${\lambda }_i$对应的线性无关的特征向量，则$p_{11},p_{12},p_{13},\cdots ,p_{m{r}_m}$线性无关。

设A，B为n阶矩阵，如果存在n阶可逆矩阵P，使得$P^{-1}AP=B$，则称A和B相似。$P^{-1}AP$称为对A进行相似变换，P称为相似变换矩阵。

如果相似变换矩阵P是正交矩阵，则称A和B正交相似。$P^{-1}AP=B$为对A进行正交相似变换。

• 若$A$和B相似，则$A^k$和$B^k$相似
• 若A和B相似，则A和B的特征多项式相同，从而A和B的特征值、行列式及迹均相同。

如果A能够和对角矩阵相似，则称A可相似对角化。若A可相似对角化，则存在可逆矩阵P，能使$PA{P}^{-1}=\Lambda$。

实对称矩阵A的特征值都是实数。

定理 实对称矩阵A的相似特征值$\lambda$和$\mu$分别对应的特征向量p和q一定正交。

定理 对于任意n阶实对称矩阵A，都存在正交矩阵Q，使得$Q^{-1}AQ=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$。

9. 二次型

记$A_{m\times n}$，$x=[x_1,x_2,\cdots ,x_n{]}^T$，$f(x)=x^{T}Ax$为二次型$f(x)$的矩阵。

对于n元二次型$f(x)=x^{T}Ax$，若对任意n元非零向量x都有$f(x)>0$，则称该二次型为正定二次型。若对任意n元非零向量x都有$f(x)<0$，则称该二次型为负定二次型，称A为负定矩阵。

实对称矩阵A为正定矩阵的充要条件为A的各阶顺序主子式都大于0。