【Numerical Optimization】2 非约束优化基础 （Jorge Nocedal 学习笔记）

本章主要介绍：无约束优化的基本概念（泰勒定理等），以及各种算法（线搜索/信任域）的基本介绍总览

---

对于无约束优化，其数学表达如下：

$$\mathop {\min }\limits_x f(x)$$
其中 $x \in {R^n}$ 是实数向量且 $n>=1$， $f:R^n \to R$ 是一个平滑函数（处处连续可微）。通常对于这样的情况，我们可以求取其局部最优解（求取全局最优解在一些情况下非常困难）。

举个例子
拟合 $\phi (t;x)$ 这样一个同时拥有指数和振荡性质的函数，通过其已知函数点 $y_1,y_2,...y_m$（分别对应 $t_1,t_2,...,t_m$），得到其中的参数 $x_1 \to x_6$

$$\phi (t;x) = {x_1} + {x_2}{e^{ - {{({x_3} - t)}^2}/{x_4}}} + {x_5}\cos ({x_6}t)$$
将其参数矩阵定义为 $x = (x_1,x_2,...,x_6)^T$，并且定义其残差为：
$$r_j(x) = y_j - \phi (t;x), j=1,2,...,m$$
最后可转化为下列非线性最小二乘法问题来解决拟合问题：
$$\mathop {\min }\limits_{x \in R^n} f(x)=r_1^2(x)+r_2^2(x)+...+r_m^2(x)$$
但如何解这个非线性最小二乘法问题呢？

1. 最优解

首先解决几个概念问题：

全局最优解：a point x* is a global minimizer if $f(x^*) \le f(x)$ for all x
(弱）局部最优解：a point x* is a local minimizer if there is a neighborhood N of x* such that $f(x^*) \le f(x)$ for all $x \in N$
（强/严格）局部最优解：a point x* is a strict/strong local minimizer if there is a neighborhood N of x* such that $f(x^*)<f(x)$ for all $x \in N$ with $x \ne x^*$
孤立局部最优解： a point x* is an isolated local minimizer if there is a neighborhood N of x* such that x* is the only local minimizer in N

其中需要注意的是，强局部最优解不一定是孤立局部最优解，但孤立局部最优解一定是强局部最优解（即，强局部最优解是孤立局部最优解的必要不充分条件）

1.1 雅各布矩阵与黑森矩阵

雅各布矩阵（Jacobian Matrix） 求函数的一阶偏导：

$${J_f}({x_1},...,{x_n}) = \frac{{\delta ({y_1},...,{y_m})}}{{\delta ({x_1},...,{x_n})}} = \left( {\begin{array}{*{20}{c}} {\frac{{\delta {y_1}}}{{\delta {x_1}}}}&{...}&{\frac{{\delta {y_1}}}{{\delta {x_n}}}}\\ {...}&{...}&{...}\\ {\frac{{\delta {y_m}}}{{\delta {x_1}}}}&{...}&{\frac{{\delta {y_m}}}{{\delta {x_n}}}} \end{array}} \right)$$
黑森矩阵（Hessian Matrix）求函数的二阶偏导，代表局部曲率

H(f)ij(x)=DiDjf(x),x=(x1,x2,...,xm) H ( f ) i j ( x ) = D i D j f ( x ) , x = ( x