非线性优化

最新推荐文章于 2024-08-02 16:14:00 发布

-Renm-

最新推荐文章于 2024-08-02 16:14:00 发布

阅读量1.2k

点赞数

文章标签：算法

本文链接：https://blog.csdn.net/qq_38135800/article/details/122268836

版权

概念
- 非线性优化就是求函数的极值。在线性函数当中,函数的极值是简单的,函数只能是单调增或者单调减,找到边界就可以找到极值 (例如 $f (x) = a x + b$ )。简单的非线性函数（例如 $f(x)=x^2$ ）可以通过求导得到极值点，然后得到极值。但对于复杂的线性函数，或者复杂的数学模型，求导很苦难或者无法求导那么该如何求极值呢？
- 非线性优化算法就是用来解决对于复杂函数模型求极值的问题。
一些基础
- 协方差计算
  $c o v (x, x) = V a r (x)$
  $cov(Ax,Ax)=Acov(x,x)A^T=cov(Ax+k,Ax+k)$
非线性最小二乘
- 非线性最小二乘的目标函数具有明确的物理意义–残差
- 当我们用一个模型 $\phi(t)$ 来描述现实中的一系列数据时，模型的预测结果与实际的测量结果总会存在一定偏差，这一偏差就称为残差。非线性最小二乘的目的就是，调整模型的参数，使得总的残差最小。
泰勒展开
- 函数 $f$ 的泰勒展开式是
  $\sum_{n=0}^\infty \frac{f^{(n)}(a)}{n!} (x-a)^n.$
  假设 $\epsilon$ 是一个足够小的数,将上式中 $x$ 和 $a$ 分别替换成 $x+\epsilon$ 和 $x$ ,可以得到
  $\epsilon) \approx f(x) + f'(x) \epsilon + \mathcal{O}(\epsilon^2).$
  由于 $\epsilon$ 足够小,上式也可以简化成
  $\epsilon) \approx f(x) + f'(x) \epsilon.$

关注