最优化问题基础框架学习

局部最优的充分和必要条件

$$\nabla f(x^*)=0, \quad \nabla^2 f(x^*)\succ 0 (Hessian矩阵正定) \quad \Rightarrow \quad x^*为局部最优点$$

$$x^*为局部最优点\quad \Rightarrow \quad\nabla f(x^*)=0, \quad \nabla^2 f(x^*)\succeq 0 (Hessian矩阵半正定)$$

---

最优化算法的核心

当求min f(x)时，使得$f(x^{k+1})\leq f(x^k)$

---

最优化问题框架

目标: $\min f(x) \quad s.t. x\in R^n$

1. if $\nabla f(x)=0$ , x可能是全局最优值（一定是局部最优值）
2. if $\nabla f(x)\neq0$，存在区间$(o,\delta)$，使得:

$$f(x-\alpha\nabla f(x)) < f(x) , \quad \forall\alpha\in(0,\delta)$$

1. if 存在一个单位向量d，与梯度方向夹角大于90度，即$\nabla f(x)^Td<0$，那么存在区间 (0