陆吾生讲座 最优化问题的数学基础

Ⅰ. Taylor expansion

对于光滑函数可以进行泰勒展开。
任意函数只要可以求导，放大看它的局部必是高阶的多项式求和的形式，根据要求的拟合误差决定需要的阶数。

One-variable case

$$f(x+\delta)=f(x)+f'(x)\delta+{1\over 2}f''(x)\delta^2+…$$

Multi-variable case

def. Hessian Matrix: $\nabla^2f(x)$

$$f(x+\delta)=f(x)+\nabla^Tf(x)\delta+{1\over 2}\delta^T\nabla^2f(x)\delta+…$$

Linear approximation of f(x) at x

当$\delta\rightarrow 0$，f(x)是关于$\delta$的线性函数

$$f(x+\delta)\approx f(x)+\nabla^Tf(x)\delta$$

Quadratic approximation of f(x) at x

当$\delta\rightarrow 0$，f(x)是关于$\delta$的二次函数

$$f(x+\delta)\approx f(x)+\nabla^Tf(x)\delta+{1\over 2}\delta^T\nabla^2f(x)\delta$$

---

Ⅱ. Optimazation

求$\min_{x\in \mathcal{R}^{n\times 1}}f(x)$

• 原始办法
  得到两个方程，但对于复杂函数而言求导后解方程极其复杂。
  

  $$\nabla f(x)=\begin{bmatrix} {\partial f(x)\over \partial x_1}\\ {\partial f(x)\over \partial x_2}\\ \end{bmatrix}=0$$

• A.Cauchy Method
  不通过解方程找到方程的解。
  随便找一个$x_k$，然后使其移动得到更小的函数值，interatively，直到$\nabla f(x)\rightarrow 0$.
  取$\delta=-\nabla f(x_k)$， xk&