最优化方法实验三--矩阵QR分解

方不可方可

于 2024-02-17 20:46:24 发布

阅读量2.4k

点赞数 37

分类专栏：最优化方法文章标签：线性代数算法

本文链接：https://blog.csdn.net/m0_68553640/article/details/136139097

版权

一、实验目的与要求

1.熟练掌握QR分解Gram–Schmidt方法；

2.掌握Householder方法；

3.能够判断矩阵是否可逆，并求出其逆矩阵。

二、问题

三、模型建立及求解

1、Gram–Schmidt

1.1向量投影

向量的投影包含了两层意思：①正交关系：矢量与投影的差称为误差，误差和投影正交；②最短距离：投影空间中所有矢量中，与原矢量距离最近的，就是原矢量在该空间的投影，且最短距离的平方就是最小平方误差。

如图2所示，已知向量a和b，将b投影到a上，投影为p，设p=ta，t为常量，b与p的差为e，e=b-p。根据上述的正交关系e与p正交，根据最短距离有： $\hat{t}=\min_{t}\left \| b-p \right \|_{2}^{2}=\min_{t}\left \| b-ta \right \|_{2}^{2}$ 。

设 $f(t)=\left \| b-ta \right \|_{2}^{2}=\left \langle b-ta,b-ta \right \rangle=t^{2}a^{T}a-2ta^{T}b-b^{T}b$ ，则 $\triangledown f(t)=2ta^{T}a-2a^{T}b$ 。令 $\triangledown f(t)=0$ ，求得 $\hat{t}=\frac{a^{T}b}{a^{T}a}=\frac{a^{T}b}{\left \| a \right \|_{2}^{2}}$ 。则 $p=ta=\frac{a^{T}b}{\left \| a \right \|_{2}^{2}}a$ ， $e=b-p=b-\frac{a^{T}b}{\left \| a \right \|_{2}^{2}}a$ 。当 $a$ 为单位向量，即 $\left \| a \right \|_{2}^{2}=1$ 时，有：

$p=ta=(a^{T}b)a$ ------(1.1.1)

$e-b-p=b-(a^{T}b)a$ ------(1.1.2)

1.2 Gram–Schmidt正交化

Gram–Schmidt算法的目的是将给定的一组线性无关向量，转换为一组标准正交基。其主要思想为：每个新的矢量都减去它在已经正交化的矢量方向的投影，进而每次新增一个与所有已经正交化的矢量都正交的矢量。新的矢量只和之前的矢量有关，而与后面的矢量无关。每新增一个正交矢量，将其单位化，最终即可将一组线性无关向量转换成标准正交基。

如图3所示为将向量 $a_{1},a_{2}$ 进行正交化过程。首先令 $\tilde{q_{1}}=a_{1}$ ，第一个矢量保持方向不变，将 $\tilde{q_{1}}$ 单位化得到 $q_{1}$ ；然后根据2.1式(1.1.1)和(1.1.2)，令 $\tilde{q_{2}}=a_{2}-(q_{1}^{T}a_{2})q_{1}$ ，可以保证 $\tilde{q_{2}}$ 与 $q_{1}$ 正交，将 $\tilde{q_{2}}$ 单位化得到 $q_{2}$ 。于是将向量 $a_{1},a_{2}$ 正交化得到了标准正交基 $q_{1},q_{2}$ 。

将向量的数目推广至n个，将 $a_{1},a_{2},...,a_{n}$ 正交化的过程为：

①令 $q_{1}=\frac{a_{1}}{\left \| a_{1} \right \|_{2}}$ ；

②正交化：根据公式 $\tilde{q_{i}}=a_{i}-(q_{1}^{T}a_{i})q_{1}-...-(q_{i-1}^{T}a_{i})q_{i-1},i=2,3,...,n$ 计算 $\tilde{q_{i}}$ ；

③检验线性相关：若 $\tilde{q_{1}}=0$ ，则 $a_{i}=(q_{1}^{T}a_{i})q_{1}+...+(q_{i-1}^{T}a_{i})q_{i-1}$ ， $a_{i}$ 是 $q_{1},...,q_{i-1}$ 的线性组合，证明 $a_{i},q_{1},...,q_{i-1}$ 线性相关，退出迭代；否则进行下一步；