高斯消元法，高斯约旦消元法，线性方程组，矩阵求逆

这里说的主元是主对角线的上的元素。

求解线性方程组

高斯消元法

对于矩阵：
$\left[\begin{array}{ccc}.& .& .\\ .& .& .\\ .& .& .\end{array}\right]$

做初等行变换：

1. 一行同乘一个实数
2. 用一行加减另一行
3. 交换两行

因而有了高斯消元法，可以把一个方阵消为上三角矩阵。或者把一个矩阵的靠左的元素构成的方阵消为上三角矩阵。

对于方程组：
$\stackrel{n}{\underset{i=1}{\mathbb{I}}}\{\begin{array}{c}\stackrel{n}{\sum _{j=1}}{a}_{i,j}{x}_j=b_i\end{array}$
可以写成三个矩阵的乘积：

系数矩阵：$\stackrel{n}{\underset{i=1}{\mathbb{I}}}\downarrow \left[\begin{array}{c}\stackrel{n}{\underset{j=1}{\mathbb{I}}}\underrightarrow{a_{i,j}}\end{array}\right]$

未知量矩阵：$\stackrel{n}{\underset{i=1}{\mathbb{I}}}\downarrow \left[\begin{array}{c}{x}_i\end{array}\right]$

常数矩阵：$\stackrel{n}{\underset{i=1}{\mathbb{I}}}\downarrow \left[\begin{array}{c}{b}_i\end{array}\right]$

就有了：

$\left(\stackrel{n}{\underset{i=1}{\mathbb{I}}}\downarrow \left[\begin{array}{c}\stackrel{n}{\underset{j=1}{\mathbb{I}}}\underrightarrow{a_{i,j}}\end{array}\right]\right)\times \left(\stackrel{n}{\underset{i=1}{\mathbb{I}}}\downarrow \left[\begin{array}{c}{x}_i\end{array}\right]\right)=\stackrel{n}{\underset{i=1}{\mathbb{I}}}\downarrow \left[\begin{array}{c}{b}_i\end{array}\right]$

我们把系数矩阵和常数矩阵拼接起来，就得到了增广矩阵：
$\stackrel{n}{\underset{i=1}{\mathbb{I}}}\downarrow \left[\begin{array}{cc}\left(\stackrel{n}{\underset{j=1}{\mathbb{I}}}\underrightarrow{a_{i,j}}\right)& b_i\end{array}\right]$

对增广矩阵做初等行变换，等价于对原线性方程组进行操作。

高斯消元法的主要过程是：

1. 顺序枚举主元，找到主元下面第一个不为0的元素（同一列内，包括主元）。
   找不到不为0的元素就继续下一列。
2. 把这一行与主元所在的行交换。
3. 整一行除以主元，把主元变成1。
4. 用主元翻倍去减它下面的数，把下面的数变成0

最终得到一个左侧是上三角矩阵的增广矩阵，此时可以自底而上回带求解。

回带的过程中，我们先有$a_{n,n}\cdot x_n=b_n$，得到$x_n$，再把$x_n$带入$a_{n-1,n-1}\cdot x_{n-1}+a_{n-1,n}\cdot x_n=b_{n-1}$得到$x_{n-1}$。依此类推…

若回代过程中，$a_{i,i}=0$，把方程整理成$a_{i,i}\cdot x_i=b$的形式，若$b=0$，则相当于$0\cdot x=0$，有无穷多解。
若$b\ne 0$，就类似于$0\cdot x=3$的情况，无解。

时间复杂度O($n^3$)

高斯约旦消元法

高斯约旦消元法的过程与高斯消元法类似：

1. 顺序枚举主元，找到主元下面第一个不为0的元素（同一列内，包括主元）。
   找不到不为0的元素即为无解。
2. 把这一行与主元所在的行交换。
3. 整一行除以主元，把主元变成1。
4. 用主元翻倍去减同一列除了它本身的所有数，把同一列的所有数变成0。（除了主元）

高斯约旦消元法无法判断是无解还是无穷多解，如果有解，得到的增广矩阵的最后一列就是方程组的解。

#include<iostream>
#include<cstdio>
#include<cmath>
#include<algorithm>
using namespace std;
int n;
double a[105][105];
bool solve() {
	for(int i=1;i<=n;i++) {
		int f=i;
		while(f<=n&&fabs(a[f][i])<1e-5) f++;
		if(f==n+1) return false;
		swap(a[i],a[f]);
		for(int j=n+1;j>=i;j--) a[i][j]/=a[i][i];
		for(int j=1,k=i;j<=n;j++,k=i) 
			if(i^j)
				for(double t=a[j][i];k<=n+1;k++)
					a[j][k]-=a[i][k]*t;
	}
	return true;
}
int main() {
	cin>>n;
	for(int i=1;i<=n;i++)
		for(int j=1;j<=n+1;j++)
			cin>>a[i][j];
	if(solve()) 
		for(int i=1;i<=n;i++) 
			printf("%.2lf\n",a[i][n+1]);
	else
		cout<<"No Solution"<<endl;
}

时间复杂度O($n^3$)

矩阵求逆

定义$I$为单位矩阵。对于方阵$A$，若有$A\times A^{-1}=A^{-1}\times A=I$，则称$A^{-1}$是$A$的逆矩阵。若不存在$A^{-1}$，则称方阵$A$不可逆。

矩阵求逆，用高斯约旦消元法：
对于$A\times A^{-1}=I$，把$A$和$I$拼接起来，得到$(A,I)$，对$(A,I)$做高斯约旦消元法，变为$(I,A^{-1})$，此时右边就是矩阵的逆。如果左侧出现全零列/行，说明矩阵不可逆。

证明较繁，我也不会：

根据理论，首先有矩阵$E$使得$A\times E=A^{\prime }$，$E$等价于做若干次初等行变换。

显然初等行变换可逆。

因此有$I\times E=A$，表示对单位矩阵做若干次初等行变换可以得到$A$。如果得不到，说明不可逆。

由于$E$也是一个矩阵，可以把变化矩阵$E$分解成若干个一次初等行变换矩阵乘积的形式：$E=E_1\times E_2\times ...\times E_n$

因而有：$I\times E_1\times E_2\times ...\times E_n=A$
$I=A\times E_1^{-1}\times E_2^{-1}\times ...\times E_n^{-1}$
$A^{-1}=I\times E_1^{-1}\times E_2^{-1}\times ...\times E_n^{-1}$

也就是说，只要对$A$做初等行变换能够变回单位矩阵，则对单位矩阵再做这些初等行变换，就能得到逆矩阵。

对单位矩阵再作这些初等行变换，等价于把$A$和$I$拼接起来，一起变换。

QED.（底气不足的证明）

减少高斯消元和高斯约旦消元法误差的一种方法是，在一列中选取绝对值最大的数作为主元，防止大数除以小数，末尾被吃掉。

后记

于是皆大欢喜。