最优化理论·光滑函数·Hessian矩阵·Jacobian矩阵·方向导数

最优化理论·光滑函数·Hessian矩阵·Jacobian矩阵·方向导数

标签（空格分隔）： 数学

---

1.光滑函数

• smooth function: 光滑函数
• 最优化中提到的光滑函数$f(x)$是指$C^1$函数（一阶光滑），即$f(x)$本身是连续的（任何位置都没有breaks），并且，它的导函数也是连续的（原函数$f(x)$在任何位置都没有abrupt bends）
• 下面的函数为非光滑函数，它虽然是连续的，但它在x=0处具有abrupt bends，它的一阶导数不是连续的
  
• 下面是一个$C^1$函数的例子
  
  • 函数$f(x) = x|x|$
    
  • 函数$f(x) = x|x|$的导函数$|x|$，可见，它是连续函数，所以，函数$f(x) = x|x|$是$C^1$函数
    
  • 继续对上面的一阶导函数求导函数，得到如下结果，此时的导函数不再连续了（它其实是原函数的二阶导函数），也就是说，原函数仅仅是$C^1$函数，而不是$C^2$函数
    
  • 综上，函数$f(x) = x|x|$是一阶光滑函数（一阶导函数连续，而更高阶导函数不再连续）
• 下面是一个$C^\infty$的例子（任意阶光滑 ）：$f(x)=x^3$
  
  • 原函数
    
  • 一阶导函数，连续
    
  • 二阶导函数，连续
    
  • 三阶导函数，取值为0，同样连续
    
  • 其他各阶导函数，都为0，连续，所以，$f(x) = x^3$为无穷多阶光滑

Refernece

[1]What is a smooth function? And why is it important?
[2]Smooth vs. Non-smooth Functions
[3]

2 梯度向量、Jacobian矩阵和Hessian矩阵

这里讨论的三个概念：梯度向量、Jacobian矩阵和Hessian矩阵

• 它的自变量：$\mathbf{x} = (x_1,x_2,\cdots,x_n)^T$
• 因变量有两种情况：
  
  • 一维$f(\mathbf{x})$：
    
    • 此时的一阶导数构成的向量为梯度向量$g(\mathbf{x})$
    • 二阶导数构成的矩阵为Hessian矩阵
  • 多维$\mathbf f(\mathbf x) = \left( f_1(\mathbf x),f_2(\mathbf x),\cdots,f_m(\mathbf x)\right)^T$：
    
    • 此时的一阶导数构成的矩阵为Jacobian矩阵

---

2.1 梯度向量

即目标函数$f$为单变量，它是关于自变量向量$\mathbf{x} = (x_1,x_2,\cdots,x_n)^T$的函数，此时，单变量函数$f$对向量$\mathbf{x}$求梯度，得到的结果为一个与向量$\mathbf{x}$同维度的向量，称之为梯度向量

$$g(\mathbf{x}) = \bigtriangledown{f(\mathbf{x})} = \left( \frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots,\frac{\partial f}{\partial x_n}\right)^T$$

2.2 Jacobian矩阵

即目标函数 f