最优化方法实验一--线性方程组求解

方不可方可

于 2024-02-16 23:45:06 发布

阅读量1k

点赞数 18

分类专栏：最优化方法文章标签：线性代数机器学习

本文链接：https://blog.csdn.net/m0_68553640/article/details/135657308

版权

最优化方法专栏收录该内容

5 篇文章 0 订阅

订阅专栏

一、实验目的与要求

1.掌握高斯消元法求解线性方程组；

2.掌握Matlab编写代码，熟悉其画图工具，进行实验，并验证结果；

3.锻炼数学描述能力，提高报告的书写能力。

二、问题

三、模型建立及求解

1、定理

根据线性代数知识，引入以下定理：

定理1：一n阶方阵A可逆的充分必要条件为 $det(A)\neq 0$

定理2：若一方阵可逆，则其逆矩阵唯一

定理3：将一个线性方程组的增广矩阵施行一系列初等行变换后得到的矩阵作为增广矩阵，其对应的线性方程组与原方程组同解

定理4：将行列式的任意倍加到另一行上，行列式的值不变

定理5：若一n阶方阵A是可逆的，则对于A和其逆矩阵 $A^{-1}$ 有： $AA^{-1}=A^{-1}A=I$ ，其中 $I$ 为n阶单位矩阵

2、高斯消元法求解

2.1高斯消元法思想

根据定理1可知，当 $det(A)\neq 0$ ，A是可逆的，对于线性方程组Ax=b，可写成 $x=A^{-1}b$ ，又根据定理2，线性方程组有唯一解。在此不妨设 $det(A)\neq 0$ 。

设矩阵A及其和向量b组成的增广矩阵 $\bar{A}=\left ( A, b \right )$ 分别为：

$A=\begin{bmatrix} a_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \vdots & \vdots & \ddots & \vdots \\ a_{n1}& a_{n2}& \cdots & a_{nn}\\ \end{bmatrix}$ $\bar{A}=\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}& b_{1}\\ a_{21} & a_{22} & \cdots & a_{2n}& b_{2}\\ \vdots & \vdots & \ddots & \vdots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn}& b_{n} \end{bmatrix}$

对 $\bar{A}$ 进行初等行变换，由于 $det(A)\neq 0$ ，所以矩阵每一列都至少有一个元素不为0。不妨假设 $a_{11}\neq 0$ ，定义行乘数： $m_{i1}=\frac{{a_{i1}}^{(1)}}{{a_{11}}^{(1)}}, i=2,3,....,n$ 。而后根据定理3，可进行初等行变换，使第i行减去第一行乘以 $m_{i1}$ 的值，即：

${a_{ij}}^{(2)}={a_{ij}}^{(1)}-m_{i1}{a_{1j}}^{(2)},{b_{i}}^{(2)}={b_{i}}^{(1)}-m_{i1}{b_{1}}^{(1)}, i,j=2,3,...,n$

于是原增广矩阵变成：

$\bar{A}^{(2)}=(A^{(2)},b^{(2)})=\begin{bmatrix} {a_{11}}^{(2)} & {a_{12}}^{(2)}& \cdots & {a_{1n}}^{(2)}& {b_{1}}^{(2)}\\ 0 & {a_{22}}^{(2)}& \cdots & {a_{2n}}^{(2)}& {b_{2}}^{(2)}\\ \vdots & \vdots & \ddots & \vdots &\vdots \\ 0 & {a_{n2}}^{(2)}& \cdots & {a_{nn}}^{(2)}& {b_{n}}^{(2)}\\ \end{bmatrix}$

当经n-1次上述变换，增广矩阵最终变成一个阶梯型矩阵：

$\bar{A}^{(n)}=(A^{(n)},b^{(n)})=\begin{bmatrix} {a_{11}}^{(n)} & {a_{12}}^{(n)}& \cdots & {a_{1n}}^{(n)}& {b_{1}}^{(n)}\\ 0 & {a_{22}}^{(n)}& \cdots & {a_{2n}}^{(n)}& {b_{2}}^{(n)}\\ \vdots & \vdots & \ddots & \vdots &\vdots \\ 0 & 0& \cdots & {a_{nn}}^{(n)}& {b_{n}}^{(n)}\\ \end{bmatrix}$

记 ${a_{ij}}^{(n)}$ 的余子式为 $M_{ij}$ ，按第一列展开计算 $det(A^{(n)})$ ：

$det(A^{(n)})={a_{11}}^{(n)}M_{11}-{a_{21}}^{(n)}M_{21}+...+(-1)^{1+n}{a_{n1}}^{(n)}M_{n1}={a_{11}}^{(n)}M_{11}$

当 $det(A^{(n)})\neq 0$ ，有 ${a_{11}}^{(n)}\neq 0$ 且 $M_{11}\neq 0$ ，而：

$M_{11}={a_{22}}^{(n)}M_{22}^{'}-{a_{23}}^{(n)}M_{23}^{'}+...+(-1)^{1+n-1}{a_{n1}}^{(n)}M_{n1}^{'}={a_{22}}^{(n)}M_{22}^{'}$

所以 ${a_{22}}^{(n)}\neq 0$ ， $M_{22}^{'}\neq 0$ ，以此类推 ${a_{ii}}^{(n)}\neq 0,i=1,2,...,n$ ，于是有 ${a_{nn}}^{(n)}x_{n}={b_{n}}^{(n)}$ ，得到唯一解 $x_{n}=\frac{{b_{n}}^{(n)}}{{a_{nn}}^{(n)}}$ ，将 $x_{n}$ 回代得到 $x_{n-1}$ 唯一解，所以线性方程组有唯一解：

$\left\{\begin{matrix} x_{n}=\frac{{b_{n}}^{(n)}}{{a_{nn}}^{(n)}}\\ x_{i}=\frac{{b_{i}}^{(n)}-\sum_{j=i+1}^{n}{a_{ij}}^{(n)}x_{j}}{{a_{ii}}^{(n)}},i=n-1,n-2,...,1 \end{matrix}\right.$

2.2高斯消元步骤

①构造增广矩阵：使用系数矩阵A和常数向量b构造增广矩阵 $\bar{A}=(A,b)$

②初等行变换消元：定义行乘数 $m_{ik}=\frac{{a_{ik}}^{(k)}}{{a_{kk}}^{(k)}},i=k+1,...,n$ ，若行乘数存在，则通过一系列初等行变换，即：第i行—第k行× $m_{ik}$ ，重复步骤将增广矩阵转化为阶梯形矩阵；若行乘数不存在，证明线性方程组不存在唯一解；

③回代求解：从最后一行开始，求出 $x_{n}=\frac{{b_{n}}^{(n)}}{{a_{nn}}^{(n)}}$ ，将已求出值的未知数代入方程，求解出另一个未知数，然后根据： $x_{i}=\frac{{b_{i}}^{(n)}-\sum_{j=i+1}^{n}{a_{ij}}^{(n)}x_{j}}{{a_{ii}}^{(n)}},i=n-1,n-2,...,1$ 依次向上回代，求解出其他未知数。

2.3算法复杂的分析

第k步消元时乘法运算次数为： $(n-k)(n-k+1)$ ，除法次数为： $(n-k)$ 。所以第k步消元乘除法运算总次数为 $(n-k)(n-k+2),k=1,2,...,n-1$ 。完成 $n-1$ 步消元乘除法运算总次数为 $\sum_{k=1}^{n-1}(n-k)(n-k+2)=\frac{n^{3}}{3}+\frac{n^{2}}{2}-\frac{5n}{6}$ ，回代过程乘除法的运算总次数为 $\sum_{i=1}^{n}(n-i+1)=\frac{n^{2}}{2}+\frac{n}{2}$ 。所以高斯消元法乘除法运算总次数为 $\frac{n^{3}}{3}+n^{2}-\frac{n}{3}$ ，当n趋于无穷大，算法复杂度为 $O(n^{3})$ 。

2.4结果测试

使用问题所给的矩阵A与向量b，求出的结果如图1所示，将结果代回线性方程组，可以验证得结果正确。导入附件A_b.mat数据，计算结果如图2所示。

3、用高斯消元法求矩阵A的逆

3.1高斯消元求A的逆思想

矩阵A、设的逆矩阵 $A^{-1}$ 及单位矩阵I分别为：

$A=\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{bmatrix} , A^{-1}=\begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1n}\\ x_{21} & x_{22} & \cdots & x_{2n}\\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{nn} \end{bmatrix}$

设 $A^{-1}$ 的每一列为 $x_{i}$ ， $I$ 每一列为 $y_{i}$ ，根据定理5： $AA^{-1}=I$ ，有： $Ax_{i}=y_{i}$ 。要求解逆矩阵 $A^{-1}$ ，则要求出每一个 $x_{i}$ ，即求解线性方程组 $Ax_{i}=y_{i},i=1,2,...,n$ 。根据高斯消元法求解线性方程组的步骤，构造增广矩阵 $\bar{A_{i}}=\left ( A,y^{i} \right )$ 并将 $A$ 化成上三角矩阵，求出 $x_{in}$ 后回代。

由于每求解一次 $x_{i}$ 都需要将矩阵A化成上三角矩阵，为了降低时间复杂度，构造一个矩阵 $\bar{A}=(A,I)$ ，将单位阵添加到A的右侧，这样以后，通过初等行变换直至将A化成上三角矩阵，就能得到每一个初等行变换后增广矩阵 $\bar{A_{i}}$ ，此时A矩阵只需经过一次化成上三角矩阵的过程。

$(A,I)=\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} & \vdots & 1 & 0 & \cdots & 0\\ a_{21} & a_{22} & \cdots & a_{2n} & \vdots & 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} & \vdots & 0 & 0 & \cdots & 1 \end{bmatrix}$

3.2高斯消元求A的逆算法步骤

高斯消元法求A的逆

判断是否矩阵是否可逆：利用matlab函数det，计算det(A)是否等于0，若不等于0，则矩阵可逆，执行下列步骤，否则结束算法
构造矩阵 $\bar{A}$ ：将系数矩阵A和与其同型的单位阵I合并成一个新矩阵 $\bar{A}=(A,I)$ $\bar{A}=(A,I)$
初等行变换消元：定义行乘数 $m_{ik}=\frac{{a_{ik}}^{(k)}}{{a_{kk}}^{(k)}}$ ，重复步骤3，通过一系列初等行变换，即：第i行减第k行乘 $m_{ik}$ ，将 $\bar{A}$ 化成阶梯形矩阵
回代求解：与求线性方程组类似，从最后一行开始，求出 $x_{in}=\frac{{y_{n}}^{(n)}}{{a_{nn}}^{(n)}}$ ，将已求出值的未知数代入方程，求解出另一个未知数。

3.3算法复杂度分析

在完成 $n-1$ 步的消元过程中，使用高斯消元法求解线性方程组时，乘除法运算总次数为 $\sum_{k=1}^{n-1}(n-k)(n-k+2)=\frac{n^{3}}{3}+\frac{n^{2}}{2}-\frac{5n}{6}$ ，而在求解逆矩阵时，进行消元步骤矩阵的规模约为解线性方程组时的两倍，所以乘除法运算总次数约为 $(\frac{n^{3}}{3}+\frac{n^{2}}{2}-\frac{5n}{6})\times 2$ 。

在回代过程中，求解线性方程组时乘除法的运算总次数为 $\sum_{i=1}^{n}(n-i+1)=\frac{n^{2}}{2}+\frac{n}{2}$ ，而求解逆矩阵时要进行n次回代过程，所以乘除法运算总次数为 $(\frac{n^{2}}{2}+\frac{n}{2})\times n$ 。

所以乘除法运算总次数约为 $(\frac{n^{3}}{3}+\frac{n^{2}}{2}-\frac{5n}{6})\times 2+(\frac{n^{2}}{2}+\frac{n}{2})\times n=\frac{7n^{3}}{6}+\frac{3n^{2}}{2}-\frac{5n}{3}$ 。当n趋于无穷大，算法复杂度为 $O(n^{3})$ 。

3.4结果测试

计算问题中给出A矩阵的逆 $A^{-1}$ ，并计算 $AA^{-1}$ 和 $A^{-1}A$ ，所得结果都为单位矩阵，如图3所示，验证了算法正确性。导入A_b.mat数据，计算得部分结果如图4所示。

4、列主元消去法

4.1列主元消元法思想

列主元消元是基于高斯消元法的改进。在使用高斯消元法求解线性方程组时，在计算行乘数时若除数远远小于被除数，会造成较大误差。例如当A、b及 $\bar{A}$ 的值为：

$A=\begin{bmatrix} 0.0001 & 1\\ 1 & 1 \end{bmatrix},b=\begin{bmatrix} 1\\ 2 \end{bmatrix},\bar{A}=(A,b)=\begin{bmatrix} 0.0001 & 1 & 1\\ 1 & 1 & 2 \end{bmatrix}$

根据高斯消元法步骤，行乘数 $m_{1}=1\div 0.0001=1000$ ，增广矩阵变成：

$\bar{A}=\begin{bmatrix} 0.0001 & 1 & 1\\ 1 & 1 & 2 \end{bmatrix}\overset{m_{1}=\frac{1}{0.0001}=10^{4}}{\rightarrow}\bar{A}^{(1)}=\begin{bmatrix} 1 & 1 & 1\\ 0 & 1-10^{4} & 2-10^{4} \end{bmatrix}\approx \begin{bmatrix} 1 & 1 & 1\\ 0 & -10^{4} & -10^{4} \end{bmatrix}$

得到 $x=\begin{bmatrix} 0 & 1 \end{bmatrix}^{T}\rightarrow Ax=\begin{bmatrix} 1 & 1 \end{bmatrix}^{T}$ ，与实际值相比相差巨大。为了避免该情况，将第一行与第二行交换，得到 $\bar{A}$ 、行乘数 $m_{1}$ 和 $\bar{A}^{(1)}$ 分别为：

$\bar{A}=\begin{bmatrix} 1 & 1 & 2\\ 0.0001 & 1 & 1 \end{bmatrix}\overset{m_{1}=\frac{0.0001}{1}=10^{-4}}{\rightarrow}\bar{A}^{(1)}=\begin{bmatrix} 1 & 1 & 2\\ 0 & 1-10^{-4} & 1-2\times 10^{-4} \end{bmatrix}\approx \begin{bmatrix} 1 & 1 & 2\\ 0 & 1 & 1 \end{bmatrix}$

回代得到 $x=\begin{bmatrix} 1 & 1 \end{bmatrix}^{T}\rightarrow Ax=\begin{bmatrix} 1 & 2 \end{bmatrix}^{T}$ ，结果比高斯消元法精确。

4.2列主元消元法步骤

列主元消元法

构造增广矩阵：将系数矩阵A和常数向量b合并成一个增广矩阵 $\bar{A}=(A,b)$
主元选取：选择第 $k(k=1,2,...,n)$ 列中绝对值最大的元素所在的行，并将该行与第k行交换位置
初等行变换消元：定义行乘数 $m_{ik}=\frac{{a_{ik}}^{(k)}}{{a_{kk}}^{(k)}},i=k+1,...,n$ ，通过一系列初等行变换，即：第i行减第k行行乘 $m_{ik}$ ，重复步骤2、3，将增广矩阵转化为阶梯形矩阵
回代求解：从最后一行开始，求出 $x_{n}=\frac{{b_{n}}^{(n)}}{{a_{nn}}^{(n)}}$ ，将已求出值的未知数代入方程，求解出另一个未知数，然后根据： $x_{i}=\frac{{b_{i}}^{(n)}-\sum_{j=i+1}^{n}{a_{ij}}^{(n)}x_{j}}{{a_{ii}}^{(n)}},i=n-1,n-2,...,1$ 依次向上回代，求解出其他未知数。

4.3算法复杂度分析

列主元消元是在高斯消元的基础上增加了主元选取和交换两行的操作，而主元选取是在每一列对角线之下找到最大的元素，第k次选取时要比较 $n-k+1(k=1,2,...,n-1)$ 次，一共需要比较 $\sum_{k=1}^{n-1}(n-k+1)=\frac{n^{2}}{2}-\frac{n}{2}-1$ 次。每次交换两行的时间复杂度为 $O(n)$ ，最坏情况为交换 $n-1$ 次，时间复杂度为 $O(n^{2})$ 。当n趋于无穷，高斯消元法求解线性方程组的时间复杂度为 $O(n^{3})$ ，所以总的时间复杂度为 $O(n^{3})$ 。