最优化方法实验四--最小二乘法实验

最新推荐文章于 2024-04-24 12:16:22 发布

方不可方可

最新推荐文章于 2024-04-24 12:16:22 发布

阅读量1.5k

点赞数 34

分类专栏：最优化方法文章标签：最小二乘法算法线性代数机器学习

本文链接：https://blog.csdn.net/m0_68553640/article/details/136144754

版权

本文介绍了最小二乘法及其正规方程求解，探讨了梯度下降法在无约束最小二乘问题中的应用，包括QR分解和Gram矩阵的使用，以及如何通过线性搜索确定最优步长。通过实例展示了梯度下降法求解的迭代过程和结果与正规方程的对比。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、实验目的与要求

1.熟练最小二乘法优化模型的意义和求解手段；

2.掌握最小二乘法的正规方程，能实现代码对其求解；

3.掌握最速梯度下降法求解无约束最小二乘法问题。

二、问题

三、模型建立及求解

解决问题思路，模型建立、性能分析，存在问题等方面进行阐述；梯度下降法迭代求解，可以设置迭代次数或相邻迭代解之间“相对接近程度”，如 $\left \| x^{k}-x^{k+1} \right \|_{2}/\left \| x^{k} \right \|_{2}$ ，作为迭代停止条件；代码不要放在报告里面，可以作为附件提交！

1、定理、定义引入

Gram矩阵的定义：

若矩阵 $B=A^{T}A$ ，则B为Gram矩阵。每个Gram矩阵都是半正定的，即

$\forall x:x^{T}Bx=x^{T}A^{T}Ax=\left \| Ax \right \|_{2}^{2}\geq 0$

若要使Gram矩阵为正定的，则要满足：

$\forall x\neq 0:x^{T}Bx=x^{T}A^{T}Ax=\left \| Ax \right \|_{2}^{2}> 0$

即A是列向量无关的。正定矩阵都是非奇异的。

矩阵QR分解的定义（具体参考文章矩阵QR分解）：

QR分解是将一个列向量无关的矩阵 $A\in R^{m\times n}$ 分解成具有标准正交列向量的矩阵Q和上三角矩阵R（对角线元素不为0）的矩阵分解方法，即A=QR：

$A=\begin{bmatrix} a_{1} & a_{2} & \cdots & a_{n} \end{bmatrix} =\begin{bmatrix} q_{1} & q_{2} & \cdots & q_{n} \end{bmatrix}\begin{bmatrix} R_{11}& R_{12} & \cdots & R_{1n}\\ 0& R_{22} & \cdots & R_{2n}\\ \vdots & \vdots & \ddots & \vdots \\ 0& 0 & \cdots & R_{nn} \end{bmatrix}$

$a_{1},a_{2} , \cdots , a_{n}$ 为A的列且线性独立， $q_{1},q_{2} , \cdots , q_{n}$ 为Q的列且两两正交，所以有：

$Q^{T}Q=\begin{bmatrix} q_{1}^{T}q_{1} & q_{1}^{T}q_{2} & \cdots &q_{1}^{T}q_{n} \\ q_{2}^{T}q_{1} & q_{2}^{T}q_{2} & \cdots &q_{2}^{T}q_{n} \\ \vdots & \vdots & \ddots & \vdots \\ q_{n}^{T}q_{1} & q_{n}^{T}q_{2} & \cdots &q_{n}^{T}q_{n} \end{bmatrix}=\begin{bmatrix} 1 & 0 &\cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots &\ddots &\vdots \\ 0 & 0&\cdots & 1 \end{bmatrix}=I$