数值优化（Numerical Optimization）学习系列-概述

开篇

1. 数值优化通过迭代的方式解决优化问题，是数学建模中关键的一环。
2. Modeling过程，需要确定优化目标、目标所依赖的变量以及变量之间的约束关系，最后通过优化算法解决问题。

基础

1. 对于一个优化问题，通常有一个优化目标函数 f(x) x为参数变量，c(x)为约束。
2. 最优化问题的标注形式为 $$min\ f(x)\quad x\in \mathbb R^n\\ s.t. \ C_i(x) = 0 \ i \in \mathcal E\\ \ \ \ \ \ \ C_i(x)\ge 0 \ i \in \mathcal I$$
3. 其中 $\mathcal E$ 表示等式集合，$\mathcal I$ 表示不等式集合
4. 其中满足约束的解称之为 可行解

问题分类

根据目标函数或者约束函数的不同，对于最优化问题可以分为：

• 连续/离散优化问题
• 约束/非约束优化问题
• 线性/非线性优化问题
• 全局/局部优化问题

• 随机/确定性优化问题

  了解分类规则后可以根据建模后的形式选择不同的算法。

凸优化

对于凸优化需要了解一下几个概念，详细可以参考Stephen Boyd的《凸优化》，里面对凸优化问题进行了详细的介绍。

1. 凸集：如果集合S为凸集，当且仅当 $x \in S,\ y \in S \ 并且 \alpha(x) + (1-\alpha)(y) \ in S; \quad \alpha \in [0,1]$
2. 凸函数：如果函数f(x)为凸函数，当且仅当S为凸集，$x\in S, \ y \in S ;\ \alpha f(x) + (1-\alpha)f(y) \ge f(\alpha x + (1-\alpha)y);\ \alpha \in [0,1]$
3. 严格凸函数，凸函数能够取到非等号，即$\alpha \in (0,1)$
4. 凸优化问题：对于标准形式目标函数为凸函数，等式约束为线性约束；不等式约束为凹函数。

无约束最优化问题

在机器学习中，有大量的问题可以归约为无约束最优化问题，例如线性回归、LR等。因此对于无约束问题的研究也很深入从简单的GD、SGD、TR到CG、Newton、(L-)BFGS等
1. 无约束最优化问题可以表示为 $min f(x); \ x \in \mathbb R^n$
2. 全局最优解 VS 局部最优解
* 全局最优简单理解为在整个定义域内解最小
* 局部最优：在某个邻域内解最小
3. 对于凸优化问题，任何局部最优解都是全局最优解。

局部最优解几个定理

1. 泰勒展开公式，根据泰勒公式对于函数f(x)可以近似为
   一阶展开近似：$f(x) \approx f(x_0) + \nabla f(x_0)^T (x-x_0)$
   二阶展开近似：$f(x) \approx f(x_0) + \nabla f(x_0)^T (x-x_0) + \frac 12 (x-x_0)^T \nabla^2 f(x_0) (x-x_0)$
2. 局部最小值的一阶必要条件，如果 $x^*$ 为局部最优解并且函数f一阶可导，则在 $x^*$ 的邻域内 $\nabla f(x^*) = 0$
3. 局部最优解的二阶必要条件，如果 $x^*$为局部最优解并且一阶和二阶可导，则$\nabla f(x^*) = 0$ 并且 ∇2f(x)正定</