最优化方法：二、数学基础

主要参考书目：
1. 最优化方法及其应用/郭科，陈聆，魏友华.-北京：高等教育出版社,2007.7(2013.7重印)

1、二次型与正定矩阵

2、方向导数与梯度

3、Hesse矩阵及泰勒展式

• Hesse(/ˈhɛsə/)矩阵
  
  ▽2f(X0)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f(X0)∂x21∂2f(X0)∂x2∂x1⋯∂2f(X0)∂xn∂x1∂2f(X0)∂x1∂x2∂2f(X0)∂x22⋯∂2f(X0)∂xn∂x2⋯⋯⋯⋯∂2f(X0)∂x1∂xn∂2f(X0)∂x2∂xn⋯∂2f(X0)∂x2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥ ▽ 2 f ( X 0 ) = [ ∂ 2 f ( X 0 ) ∂ x 1 2 ∂ 2 f ( X 0 ) ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ( X 0 ) ∂ x 1 ∂ x n ∂ 2 f ( X 0 ) ∂ x 2 ∂ x 1 ∂ 2 f ( X 0 ) ∂ x 2 2 ⋯ ∂ 2 f ( X 0 ) ∂ x 2 ∂ x n ⋯ ⋯ ⋯ ⋯ ∂ 2 f ( X 0 ) ∂ x n ∂ x 1 ∂ 2 f ( X