无约束最优化问题的一般结构与规划方法

无约束问题与最优解

考虑如下最优化问题：

$$\min_{x\in\mathbb{R}^{n}}f(x)$$ 无约束最优化问题的解由局部解和全局解两种，而实际上可行的往往只有局部解（或严格局部解）。如不加说明我们讨论的都是局部解。
局部解定义
设 $x^{*}\in\mathbb{R}^{n}$ ，若存在 $x^{*}$ 的 $\delta(\delta>0)$ 邻域
$$N_{\delta}(x^{*})=\{x | \|x-x^{*}\|<\delta\}$$ 使得
$$f(x)\geq f(x^{*}),\forall x\in N_{\delta}(x^{*})$$ 则称 $x^{*}$ 为 $f(x)$ 的局部解；若
$$f(x)> f(x^{*}),\forall x\in N_{\delta}(x^{*})$$ 则称 $x^{*}$ 为 $f(x)$ 的严格局部解。

最优性条件

一阶必要条件
设 $f(x)$ 一阶连续可微，若 $x^{*}$ 是一个局部解，则：$\nabla f(x^{*})=0$ 。即 $x^{*}$ 在任何方向上的方向导数均为零，该点所处的切平面是水平的。
二阶必要条件
设 $f(x)$ 二阶连续可微，若 $x^{*}$ 是一个局部解，则：

$$\nabla f(x^{*})=0, \nabla^{2}f(x^{*})\text{ 为半正定}$$ 即在局部解 $x^{*}$ 处二阶方向导数非负。满足 $\nabla f(x^{*})=0$ 的点 $x^{*}$ 被称为函数 $f$ 的平稳点或 驻点，不是极小点也不是极大点的平稳点被称为函数的 鞍点。
二阶充分条件
设 $f(x)$ 二阶连续可微，且 $$\nabla f(x^{*})=0, \nabla^{2}f(x^{*})\text{ 为正定}$$ 则 $x^{*}$ 是无约束问题的一个严格局部解。
凸充分性定理
若 $f:\mathbb{R}^{n}\to\mathbb{R}$ 是凸函数，且 $f(x)$ 的一阶连续可微的，则 $x^{*}$ 是全局解得充分必要条件是 $\nabla f(x^{*})=0$ 。

一维线性搜索

求解最优化问题的关键是构造一个点列 $\{x^{k}\}$ 使其满足

$$\lim_{k\to\infty}f(x^{k})=f(x^{*})=\min_{x\in\mathbb{R}}f(x),\quad \lim_{k\to\infty}x^{k}=x^{*}$$ 称 $x^{*}$ 为问题的解， 称 $\{x^{k}\}$ 为 极小化点列，其构造方法一般采用逐步构造法：
$$x^{k+1}=x^{k}+\alpha_{k}d^{k},\quad k=0,1,2,\dots$$ 称 $d^{k}$ 为 搜索方向, $a_{k}$ 为 步长。一维搜索问题即讨论如何确定步长的问题，下面简要介绍几种搜索方法，及其特色，但对算法本身不予详细介绍。

精确线性搜索

如果有 $\alpha_{k}$ 使得

$$\phi(\alpha_{k})=\min_{\alpha\geq 0}\{\phi(\alpha) = f(x^{k}+\alpha d^{k})\}$$ 则称该搜索为精确线性搜索，称 $\alpha_{k}$ 为最优步长。该方法有重要理论价值，但除了 $f(x)$ 是二次函数的特殊情况外，确定精确极小点是很困难的。

直接搜索法

首先介绍两个概念。
搜索区间
设 $\alpha^{*}$ 是 $\phi(\alpha)$ 的极小点，若存在区间 $[a,b]$使得 $\alpha^{*}\in[a.b]$，则称 $[a,b]$为 $\phi(\alpha)$ 的搜索区间。确定搜索区间可采用进退法。从一点出发确定函数值“高-低-高”的4点，一个方向不成功就退回来反方向寻找。
单峰函数
设函数 $\phi(\alpha)$ 在区间 $[a,b]$ 内存在极小点 $\alpha^{*}\in(a.b)$，如果对于任意 $\alpha_{1},\alpha_{2}$ 满足：

1. 当 $\alpha_{1}<\alpha_{2}\leq \alpha^{*}$时，有 ϕ(α1