本章主要介绍:无约束优化的基本概念(泰勒定理等),以及各种算法(线搜索/信任域)的基本介绍总览
对于无约束优化,其数学表达如下:
其中 x∈Rn x ∈ R n 是实数向量且 n>=1 n >= 1 , f:Rn→R f : R n → R 是一个平滑函数(处处连续可微)。通常对于这样的情况,我们可以求取其局部最优解(求取全局最优解在一些情况下非常困难)。
举个例子
拟合 ϕ(t;x) ϕ ( t ; x ) 这样一个同时拥有指数和振荡性质的函数,通过其已知函数点 y1,y2,...ym y 1 , y 2 , . . . y m (分别对应 t1,t2,...,tm t 1 , t 2 , . . . , t m ),得到其中的参数 x1→x6 x 1 → x 6
将其参数矩阵定义为 x=(x1,x2,...,x6)T x = ( x 1 , x 2 , . . . , x 6 ) T ,并且定义其残差为:
最后可转化为下列非线性最小二乘法问题来解决拟合问题:
但如何解这个非线性最小二乘法问题呢?
1. 最优解
首先解决几个概念问题:
全局最优解:a point x* is a global minimizer if f(x∗)≤f(x) f ( x ∗ ) ≤ f ( x ) for all x
(弱)局部最优解:a point x* is a local minimizer if there is a neighborhood N of x* such that f(x∗)≤f(x) f ( x ∗ ) ≤ f ( x ) for all x∈N x ∈ N
(强/严格)局部最优解:a point x* is a strict/strong local minimizer if there is a neighborhood N of x* such that f(x∗)<f(x) f ( x ∗ ) < f ( x ) for all x∈N x ∈ N with x≠x∗ x ≠ x ∗
孤立局部最优解: a point x* is an isolated local minimizer if there is a neighborhood N of x* such that x* is the only local minimizer in N
其中需要注意的是,强局部最优解不一定是孤立局部最优解,但孤立局部最优解一定是强局部最优解(即,强局部最优解是孤立局部最优解的必要不充分条件)
1.1 雅各布矩阵与黑森矩阵
雅各布矩阵(Jacobian Matrix) 求函数的一阶偏导:
黑森矩阵(Hessian Matrix)求函数的二阶偏导,代表局部曲率