最优化方法实验五--数据拟合

最新推荐文章于 2024-07-06 15:43:38 发布

方不可方可

最新推荐文章于 2024-07-06 15:43:38 发布

阅读量220

点赞数 6

分类专栏：最优化方法文章标签：算法机器学习线性代数

本文链接：https://blog.csdn.net/m0_68553640/article/details/136157705

版权

最优化方法专栏收录该内容

5 篇文章 0 订阅

订阅专栏

一、实验目的与要求

1.掌握求解最小二乘法约束问题思路；

2.掌握建立数据拟合的优化模型；

3.掌握数学符号描述问题，设计算法求解模型。

二、问题

三、模型建立及求解

解决问题思路，算法实现描述，误差分析，存在问题等方面进行阐述。

1、定理、定义引入

Gram矩阵的定义：

若矩阵 $B=A^{T}A$ ，则B为Gram矩阵。每个Gram矩阵都是半正定的，即

$\forall x:x^{T}Bx=x^{T}A^{T}Ax=\left \| Ax \right \|_{2}^{2}\geq 0$

若要使Gram矩阵为正定的，则要满足：

$\forall x\neq 0:x^{T}Bx=x^{T}A^{T}Ax=\left \| Ax \right \|_{2}^{2}> 0$

即A是列向量无关的。正定矩阵都是非奇异的。

定理1：设函数f(x)在 $\hat{x}$ 处可微，则 $\triangledown f(\hat{x})=0$ 是 $\hat{x}=\underset{x\in R^{n}}{argmin}f(x)$ 的必要条件

证明：将函数f(x)在 $\hat{x}$ 处一阶泰勒展开，有：

$f(x)=f(\hat{x})+\left \langle \triangledown f(\hat{x}),x-\hat{x} \right \rangle+o(\left \| x-\hat{x} \right \|_{2})$

令 $\tilde{x}=\hat{x}-t\triangledown f(\hat{x})$ ， $t> 0$ ，可得：

$f(\tilde{x})=f(\hat{x})-t\left \| \triangledown f(\hat{x}) \right \|_{2}^{2}+o(t\left \| \triangledown f(\hat{x}) \right \|_{2})$

当 $t\rightarrow 0$ ，则 $t\left \| \triangledown f(\hat{x}) \right \|_{2}^{2}\rightarrow 0$ ， $o(t\left \| \triangledown f(\hat{x}) \right \|_{2})\rightarrow 0$ ，当t足够小，存在 $t\left \| \triangledown f(\hat{x}) \right \|_{2}> o(t\left \| \triangledown f(\hat{x}) \right \|_{2})$ ，即：

$-t\left \| \triangledown f(\hat{x}) \right \|_{2}>+o(t\left \| \triangledown f(\hat{x}) \right \|_{2})<0$

若 $\triangledown f(\hat{x})\neq 0$ ，则： $f(\tilde{x})=f(\hat{x})-t\left \| \triangledown f(\hat{x}) \right \|_{2}^{2}+o(t\left \| \triangledown f(\hat{x}) \right \|_{2})<f(\hat{x})$ ，与 $\hat{x}=\underset{x\in R^{n}}{argmin}f(x)$ 矛盾，所以 $\triangledown f(\hat{x})=0$ 得证。

$\triangledown f(\hat{x})=0$ 是最优解问题 $\hat{x}=\underset{x\in R^{n}}{argmin}f(x)$ 的必要条件但不是充分条件，因为 $\triangledown f(\hat{x})=0$ 时， $f(\hat{x})$ 有可能是最大值，故引入定理2：

定理2：若可微函数f(x)是凸函数，则 $\triangledown f(\hat{x})=0$ 是 $\hat{x}=\underset{x\in R^{n}}{argmin}f(x)$ 的充要条件

定理1已证必要条件，现证充分条件，即 $\triangledown f(\hat{x})=0\Rightarrow \hat{x}=\underset{x\in R^{n}}{argmin}f(x)$ ：由于f(x)是可微且凸的，则 $\forall x\in R^{n}$ ，有： $f(x)\geq f(\hat{x})+\left \langle \triangledown f(\hat{x}),x-\hat{x} \right \rangle\geq f(\hat{x})$ 。 $\hat{x}=\underset{x\in R^{n}}{argmin}f(x)$ 得证。