最优化方法 线性方程组求解

最新推荐文章于 2024-01-16 21:47:20 发布
最新推荐文章于 2024-01-16 21:47:20 发布
阅读量606 收藏 1
点赞数 1
分类专栏： 最优化方法 文章标签： 性能优化 matlab 线性代数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62895602/article/details/133744219
版权

最优化方法 线性方程组求解

高斯消元法求解线性方程组

问题

已知向量img，矩阵img，线性方程组img，其中：

img

编写代码，通过高斯消元法求解,并验证解的准确性。

求解过程

高斯消元法是一种解线性方程组的常用方法，它的基本原理是通过一系列的行变换将原始方程组转化为一个上三角形方程组，然后通过回代求解得到方程组的解。

考虑一个线性方程组Ax=b，其中A是一个4×4的矩阵，b是一个4维的列向量，要求解x。

img

化为增广矩阵：

将方程组化为增广矩阵[A | b]，也就是将矩阵A和向量b合并成一个4×5的矩阵。

img

选择主元：

选取第一列中的一个非零元素作为主元，通常选择第一行第一列的元素（A[1][1]）。如果主元为零，则可以选择下一列中的非零元素，或者进行行交换来选取一个非零主元。

消元操作：

确定主元后，需要进行一系列的行操作，将主元所在列的其他元素变为零。这些行操作包括：

  1. 将主元所在行的所有元素除以主元的值，以确保主元变为1。
  2. 对于主元所在列的其他行，通过将主元所在行的适当倍数加到这些行上，使得主元所在列的其他元素都变为零。

img

这一步的目标是将矩阵转化为上三角形矩阵，即主对角线以下的所有元素都变为零。

  1. 重复步骤2和步骤3： 继续选择下一列的主元，然后进行相应的消元操作，直到将整个矩阵转化为上三角形矩阵。

img

回代求解：

一旦矩阵被转化为上三角形矩阵，就可以使用回代方法求解方程组。从最后一行开始，依次求解每个未知数。具体步骤如下：

  1. 对于最后一行，直接通过等式求解最后一个未知数。

img

  1. 对于倒数第二行，先求解倒数第二个未知数，然后带入已经求解出的未知数来求解下一个未知数。

img

  1. 依此类推，一直求解到第一个未知数。

img

  1. 得到解向量： 完成回代步骤后，你将得到方程组的解向量x。

img

clc;
clear;
close all;
A = [1,1,2,1;1,2,0,1;1,4,2,1;1,8,2,4];
b = [2; 0; 2; 3];
x = gauss_(A, b);
disp(x);
% save('x.mat', 'x', 'x');
% 计算等式左侧

% 验证解的正确性
% 检查左侧和右侧是否近似相等
left_side = A * x;
tolerance = 1e-6; % 设置一个小的容忍误差
is_correct = all(abs(left_side - b) < tolerance);
if is_correct
    disp('x 是正确的解。');
else
    disp('x 不是正确的解。');
end

function x = gauss_(A, b)    
    [m, n] = size(A);
    if m ~= n
        error('系数矩阵必须是方阵');
    end
    % 增广矩阵 [A | b]
    augmented_matrix = [A, b];
    % 初等行变换将增广矩阵转化为上三角形矩阵
    for i = 1:n      
        % 将当前列的第一个元素缩放为1
        augmented_matrix(i, :) = augmented_matrix(i, :) / augmented_matrix(i, i);
        % 利用当前行的第一个元素，将下面的行消元为零
        for j = i+1:n
            augmented_matrix(j, :) = augmented_matrix(j, :) - augmented_matrix(i, :) * augmented_matrix(j, i);
        end
    end
    % 回代求解
    x = zeros(n, 1);
    for i = n:-1:1
        x(i) = augmented_matrix(i, end) - augmented_matrix(i, i+1:end-1) * x(i+1:end);
    end
end

image-20231010085425702

高斯消元法求解矩阵的逆

问题

image-20231010090511042

是否可以通过高斯消元法，构造线性方程组求矩阵img的逆？如果可以求其逆矩阵。

求解过程

构造一个增广矩阵，右边是单位矩阵I。也就是将[A | I]组成一个4×8的矩阵。

img

使用高斯消元法，进行行变换，将增广矩阵变换为上三角形形式，

img

进行行变换，确保左半部分（原始矩阵A的部分）变为单位矩阵。

img

此时，右半部分将包含矩阵A的逆矩阵。将右半部分提取出来，即得到了矩阵A的逆矩阵。

img

clc;
clear;
close all;
A = [1,1,2,1;1,2,0,1;1,4,2,1;1,8,2,4];
A_inv = gauss_inv(A);
disp(A_inv);

% 验证解的正确性
left_side = A * A_inv;
% 检查左侧和右侧是否近似相等
tolerance = 1e-6; % 设置一个小的容忍误差
is_correct = all(abs(left_side - eye(4)) < tolerance);
if is_correct
    disp('x 是正确的解。');
else
    disp('x 不是正确的解。');
end

function A_inv = gauss_inv(A)    
    [m, n] = size(A);
    if m ~= n
        error('输入矩阵必须是方阵');
    end
    % 构建增广矩阵 [A | I], 其中 I 是单位矩阵
    augmented_matrix = [A, eye(n)];
    % 初等行变换将增广矩阵转化为对角矩阵
    for i = 1:n
        % 将当前列的第一个元素缩放为1
        augmented_matrix(i, :) = augmented_matrix(i, :) / augmented_matrix(i, i);
        % 利用当前行的第一个元素，将下面的行消元为零
        for j = 1:n
            if j ~= i
                augmented_matrix(j, :) = augmented_matrix(j, :) - augmented_matrix(i, :) * augmented_matrix(j, i);
            end
        end
    end
    % 提取逆矩阵部分
    A_inv = augmented_matrix(:, n+1:end);
end

image-20231010091928357

改进：

在传统的高斯消元法求解矩阵的逆的过程中，将原矩阵转换为单位阵这一步骤时间复杂度较大，为此我们可以改为逐列求解矩阵的逆

比如：对于矩阵A，我们想要求解 A − 1 A^{-1} A−1

image-20231010091201424

假设

image-20231010091251730

则有
A x j = y j Ax^j=y^j Axj=yj
其中

image-20231010091328081

因此，我们只需要将 A − 1 A^{-1} A−1的每一列都当作线性方程组 A x j = y j Ax^j=y^j Axj=yj的解，然后将每列解合并在一起即为 A − 1 A^{-1} A−1

为此我们可以构造增广矩阵[A|I]，然后用高斯消元法将A转换为上三角阵的形式，此时我们不需要再将A转换为单位矩阵，而是直接对该增广矩阵求解线性方程组，得到一个矩阵形式的解（区别于之前向量形式的解），这个矩阵就是 A − 1 A^{-1} A−1

clc;
clear;
close all;
A = [1,1,2,1;1,2,0,1;1,4,2,1;1,8,2,4];
x = gauss_inv2(A);

function x = gauss_inv2(A) %高斯消元法求逆
    [m, n] = size(A);
    if m ~= n
        error('系数矩阵必须是方阵');
    end
    % 增广矩阵 [A | b]
    I = eye(m);
    augmented_matrix = [A, I];
    % 初等行变换将增广矩阵转化为上三角形矩阵
    for i = 1:n      
        % 将当前列的第一个元素缩放为1
        augmented_matrix(i, :) = augmented_matrix(i, :) / augmented_matrix(i, i);
        % 利用当前行的第一个元素，将下面的行消元为零
        for j = i+1:n
            augmented_matrix(j, :) = augmented_matrix(j, :) - augmented_matrix(i, :) * augmented_matrix(j, i);
        end
    end
    % 回代求解
    x = zeros(n, n);
    for i = n:-1:1
        x(i, :) = augmented_matrix(i, n+1:end) - augmented_matrix(i, i+1:n) * x(i+1:end, :);
    end
end

image-20231010121611423

测试性能

clc;clear;close all;
result = zeros(2, 15);
for i = 100:100:1500
    % 产生随机矩阵
    A = randi([1, 100], i, i);
    tic;
    A_inv1 = Gauss_inv1(A);
    end_time1 = toc;
    tic;
    A_inv2 = Gauss_inv2(A);
    end_time2 = toc;
    result(1, i/100) = end_time1;
    result(2, i/100) = end_time2;
end
disp(result)

% 传统高斯消元法求逆
function A_inv = Gauss_inv1(A)    
    [m, n] = size(A);
    if m ~= n
        error('输入矩阵必须是方阵');
    end
    % 构建增广矩阵 [A | I], 其中 I 是单位矩阵
    augmented_matrix = [A, eye(n)];
    % 初等行变换将增广矩阵转化为对角矩阵
    for i = 1:n
        % 将当前列的第一个元素缩放为1
        augmented_matrix(i, :) = augmented_matrix(i, :) / augmented_matrix(i, i);
        % 利用当前行的第一个元素，将下面的行消元为零
        for j = 1:n
            if j ~= i
                augmented_matrix(j, :) = augmented_matrix(j, :) - augmented_matrix(i, :) * augmented_matrix(j, i);
            end
        end
    end
    % 提取逆矩阵部分
    A_inv = augmented_matrix(:, n+1:end);
end


% 改进的高斯消元法求逆
function x = Gauss_inv2(A) 
    [m, n] = size(A);
    if m ~= n
        error('系数矩阵必须是方阵');
    end
    % 增广矩阵 [A | b]
    I = eye(m);
    augmented_matrix = [A, I];
    % 初等行变换将增广矩阵转化为上三角形矩阵
    for i = 1:n      
        % 将当前列的第一个元素缩放为1
        augmented_matrix(i, :) = augmented_matrix(i, :) / augmented_matrix(i, i);
        % 利用当前行的第一个元素，将下面的行消元为零
        for j = i+1:n
            augmented_matrix(j, :) = augmented_matrix(j, :) - augmented_matrix(i, :) * augmented_matrix(j, i);
        end
    end
    % 回代求解
    x = zeros(n, n);
    for i = n:-1:1
        x(i, :) = augmented_matrix(i, n+1:end) - augmented_matrix(i, i+1:n) * x(i+1:end, :);
    end
end

image-20231010121335247

不难看出，随着矩阵维度数的增加，改进后的高斯消元求逆运行的时间要比传统方法更短，性能更强

高斯列主消元法

问题：

因为计算机存在舍入误差，若主元很小，趋近于0时，使用传统高斯消元法将主元作为除数可能会导致其他行的元素误差放大。

求解过程：

高斯列主消元法是一种用于解决线性方程组的数值方法。它是高斯消元法的一种改进版本，用于避免或减小数值不稳定性，以下是使用高斯列主消元法求解线性方程组的一般步骤：

**以三位有效数字为例，**对于一个线性方程组Bx = b，其中B是系数矩阵，x是未知向量，b是右侧常数向量。

imgimg

构造增广矩阵：

img

主元素选择：

  1. 在每一列上选择主元素，通常选择每一列中绝对值最大的元素作为主元素。
  2. 为了避免除以零的情况，可以使用部分主元素选择，交换当前列及以下行中主元素所在的行，确保主元素不为零。

img

行交换：

如果在部分主元素选择的过程中，需要交换行以确保主元素不为零，则执行行交换操作，以确保主元素在该列的上方。

消元：

  1. 从第一列开始，使用主元素所在的行来消除下面的行中的元素，使得主元素下方的元素都为零。这可以通过将适当的倍数的主元素所在行添加到下面的行上来实现。

img

2. 重复步骤1继续选择下一列的主元，然后进行相应的消元操作，直到将整个矩阵转化为上三角形矩阵。

img

回代：

一旦完成消元过程，得到一个上三角矩阵（或者称为行阶梯形式），然后可以使用回代法来解决方程组。从最后一行开始，通过依次代入已知的变量值，计算出未知变量的值。

img

clc;
clear;
close all;
A = [0.0001 1 2 1; 1 2 0 1; 1 4 2 1; 1 8 2 0.0004];
% 三位有效小数位
A_round = round(A, 3);
b = [2; 0; 2; 3];
x_correct = gauss_col(A, b);
x1 = gauss_(A_round, b);
x2 = gauss_col(A_round, b);
disp(x_correct);
disp(x1);
disp(x2);



% 顺序高斯消元法
function x = gauss_(A, b)    
    [m, n] = size(A);
    if m ~= n
        error('系数矩阵必须是方阵');
    end
    % 增广矩阵 [A | b]
    augmented_matrix = [A, b];
    % 初等行变换将增广矩阵转化为上三角形矩阵
    for i = 1:n      
        % 将当前列的第一个元素缩放为1
        augmented_matrix(i, :) = augmented_matrix(i, :) / augmented_matrix(i, i);
        % 利用当前行的第一个元素，将下面的行消元为零
        for j = i+1:n
            augmented_matrix(j, :) = augmented_matrix(j, :) - augmented_matrix(i, :) * augmented_matrix(j, i);
        end
    end
    % 回代求解
    x = zeros(n, 1);
    for i = n:-1:1
        x(i) = augmented_matrix(i, end) - augmented_matrix(i, i+1:end-1) * x(i+1:end);
    end
end

% 高斯列主消元法
function x = gauss_col(A, b)    
    [m, n] = size(A);
    if m ~= n
        error('系数矩阵必须是方阵');
    end
    % 增广矩阵 [A | b]
    augmented_matrix = [A, b];
    % 初等行变换将增广矩阵转化为上三角形矩阵
    for i = 1:n
        % 找到当前列中绝对值最大的元素所在的行
        [~, max_row] = max(abs(augmented_matrix(i:n, i)));
        max_row = max_row + i - 1;
        % 交换当前行与最大值所在行
        augmented_matrix([i, max_row], :) = augmented_matrix([max_row, i], :);        
        % 将当前列的第一个元素缩放为1
        augmented_matrix(i, :) = augmented_matrix(i, :) / augmented_matrix(i, i);
        % 利用当前行的第一个元素，将下面的行消元为零
        for j = i+1:n
            augmented_matrix(j, :) = augmented_matrix(j, :) - augmented_matrix(i, :) * augmented_matrix(j, i);
        end
    end
    % 回代求解
    x = zeros(n, 1);
    for i = n:-1:1
        x(i) = augmented_matrix(i, end) - augmented_matrix(i, i+1:end-1) * x(i+1:end);
    end
end

image-20231010102748054

可以看到，当舍入为3位有效小数时，使用高斯列主消元法得到的结果与高斯顺序消元法和精确解相比，误差更小，数值更具稳定性

KING BOB!!!
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
单片机应用系统设计技术——按键控制点亮LED
漠宸离若的博客
03-29 827
一、实验目的 本实例运用单片机AT89C52，通过按键控制点亮LED，实现流水灯。 二、实验软件 Proteus 7.8，Keil5 三、实验步骤 元器件符号 元器件名称 说明 数量 U1 AT89C52 AT89C52单片机 1 R1~R10 RES 电阻 10 D1~D8 LED-RED 红色LED灯 ...
分析有限元线性方程组的求解方法 (2006年)
04-22
目的 试图从几种常用的线性方程组的求解方法找出最优化方法。方法 从存储单元,运算量及收敛速度方面做了一系列比较分析。结果 发现迭代法优于直接法,超松弛法优于其他迭代法。结论 通过分析比较得出当迭代法收敛时,超松弛方法最优。
采用Armijo线搜索的最速下降法求解非线性方程的matlab代码
11-20
采用Armijo线搜索的最速下降法求解非线性方程的matlab代码
hyperFcls_最小二乘法求解非线性方程_
09-29
可用于求非线性方程的最优解，设定初始值的范围，通过优化模型计算出满足范围条件下的最优解。
数独求解matlab代码-Sudoku:使用优化和线性方程组解决9*9数独难题
05-28
数独刷新matlab代码数独 使用优化技术和线性系统解决9 * 9数独难题。 sudoku_2文件是sudoku示例的实现。 sudoku_interactive可用于解决一般的9 * 9数独难题。 在输入数独的给定线索时，输入x和y坐标，然后输入值。 坐标从（1,1）到（9,9）不等。 要在matlab中运行此代码，首先需要在matlab中安装cvx库。 cvx用于解决优化问题，即在给定约束A * x = b的情况下找到最小第一个范数的x。
高斯列主元消元法求解线性方程组
热门推荐
01-05 1万+
一、高斯消去法的基本思想     例1. 解方程组：                   解 方程组矩阵形式为:AX=b,其中:                第一步，消元过程：对增广矩阵进行消元      即得方程组     第二步, 回代过程:               此方法就是高斯消去法。 二、改进版
最优化方法（一）线性方程组求解
最新发布
wuhu_czy的博客
01-16 1343
高斯消元法用于求解线性方程组的方法，并在Matlab中编写了相应的代码。通过实验验证，我发现高斯消元法能够有效地求解线性方程组，并得到准确的结果。同时，我还熟悉了Matlab的画图工具，可以用于可视化展示运算过程和结果。这个实验让我更深入地理解了线性方程组和矩阵逆的概念，提升了我在数值计算和编程方面的能力。
线性方程组AX=b，AX=0以及非线性方程组的最小二乘解（解方程组-＞优化问题）
Rolandxxx的博客
08-29 1万+
p=q表示A矩阵是个方阵，又因为是列满秩，所以是一个满秩的方阵，由于满秩的性质那么A的行列式不等于0。这时候Ax=y这个方程就很好求了，方程左右乘A的逆，就有唯一解了。：就是我们要求的q个变量x是互相无关的（没有向量可用有限个其他向量的线性组合所表示），必须要把这q个变量都求出来才行，不能说求出q-1个就能把q个变量决定。，这同时也说明了矩阵只适用于对X做线性变换的性质，对于做非线性变换的变换，矩阵表示不出来。，让X在满足条件的情况下使得║AX║的平方最小，于是就构造了一个带约束的最小二乘问题。
基础 --- 优化方法（一）
chencas的博客
01-18 273
梯度下降 批量梯度下降 随机梯度下降 牛顿法 拟牛顿法 trust-region L1正则化的求解 次梯度，次导数
线性方程组的求解
weixin_62773441的博客
03-23 929
（Gaussian elimination）是求解线性方程组的一种常用方法。它的基本思想是通过一系列的行变换将增广矩阵（包含系数矩阵和常数矩阵）化为阶梯形矩阵，然后通过回代求解未知量。①. 将第一行首个非零元素作为主元素，用主元素消掉第一列中下面所有元素；②. 将第二行首个非零元素作为主元素，用主元素消掉第二列中下面所有元素；③. 重复此步骤，直至所有行变成上三角矩阵，即矩阵。通过这种方法可以求得线性方程组的解。行的第一个非零元素将第。①. 对最后一个未知量。
全主元高斯消元法
12-28
c++写的全主元高斯消元法，代码清晰易懂，带有详细注释。
非线性方程组求解的新方法
05-21
将非线性方程组的求解问题转化为最优化问题，对经 典BFGS变尺度法进行改进：采用高精度通用数值算法求解函数梯度，采用新的数值解析法进行 一维探索，进而有效地提高了BFGS变尺度法的效率和程序通用性；对遗传算法...
最优化中的线性求解方法
陋室逢雨
05-18 1943
参考书： 最优化、矩阵分析 凸集 设集合 C⊆RnC⊆RnC \subseteq R^n ，如果 CCC 中任取两点的任意组合仍然属于 CCC，那么称集合 CCC 为凸集 直观地看，任取集合中两点所连成的线段仍然属于这个集合，这个集合即为凸集 凸函数 设 f:C⊆Rn→R1f:C⊆Rn→R1f:C \subseteq R^n \rightarrow R^1 ，其中 CCC 为凸集，若对...
＜＜数值分析＞＞第二章线性方程组的直接解法
qq_69854365的博客
11-29 5059
本博客介绍了解线性方程组的一些方法，包括高斯列主元消去法、LU分解方法、Cholesky分解方法、改进的平方根法等。同时包含了向量、矩阵的多个范数公式，条件数cond的介绍。并对直接法求解线性方程组的误差分析。
矩阵变换---高斯全主元消去法---解线性非齐次方程组
floracuu的博客
02-13 5135
1. 下图是初始时的增广矩阵，解方程组的关键就是将矩阵变换成三角矩阵，于是此方程组的解为 [ 1, 2, 3, 4 ] 2.主元：第 i 行的主元是a [ i ] [ i ] 一行一行的处理，画圈的是处理每一行时的主元 可以看到，每轮的主元都不为0，这种情况较为简单，先讨论这种情况 把第0行的主元素变成1（对该行的所有元素分别除以主元素） 用主元素......
matlab非线性方程组求解得到矩阵,非线性方程组求解——附Matlab原程序
weixin_33376046的博客
03-17 3778
在科学与工程计算中，经常遇到求解非线性方程组的问题；非线性方程组在收敛速度及收敛性比线性方程组要差，特别对于非凸的非线性方程组，其求解更是困难。下面简要介绍非线性方程组的三种解法——牛顿法、拟牛顿法、同伦算法，分析三种解法的适用性，并附Matlab原程序。(一)、牛顿迭代法迭代公式为：xk+1=xk-f(xk)/f'(xk);牛顿迭代法是解非线性方程组比较经典的方法，在局部收敛点附近是平方收敛的；...
常见优化算法大汇总
qq_42374559的博客
01-06 4881
Optimizing Note 本文档介绍了一些常用的优化方法，包括线性最小二乘及一些非线性的优化方法，如梯度下降法，牛顿法，高斯牛顿法，列文伯格-马尔夸特法，迭代非线性最小二乘法等。 Optimizing Note 1. Linear Optimazation 2. NonLinear Optimazation 2.1. Newton Algorithm (梯度法) 2.1.1. 最速下降法（梯度下降法） 2.1.2. 牛顿法(Newton Algorithm) 2.2. Gauss-Newt
MIMU中常见的数学优化方法
wuwuku123的博客
05-08 809
1、最小二乘/最小平方法：残差平方和最小/平方损失函数/ 它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 超定方程组：超定指方程个数大于未知量个数； 如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等； 如果预测的变量是连续的，我们称其为回归； 回归分析中，...
超定方程组最优解（最小二乘解）推导
wanjiac的博客
07-07 2383
转自：超定方程组最优解（最小二乘解）推导
matlab线性方程组的求解的优化
09-21
在Matlab中，对于线性方程组的求解有多种优化方法可供选择。其中一种常见的方法是使用LU分解（LU decomposition），通过将系数矩阵分解为一个下三角矩阵和一个上三角矩阵的乘积来求解方程组。这种方法可以提高计算...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值