凸优化——负梯度

一、方向导数
  导数描述了函数随自变量变化的变化率。而当函数为多元函数时，取${\mathbf{R}}^n$上的多元函数$f(\mathbf{x})$，其在不同方向通常有不同的变化率，因此，在描述多元函数的导数时，不仅要描述其变化率的幅值，还要描述其方向。
  定义函数$f$定义域上一点${\mathbf{p}}_0$与${\mathbf{p}}_1$，向量$\mathbf{l}$是一个方向与$\mathbf{p}={\mathbf{p}}_1-{\mathbf{p}}_0$一致的非零向量，用以描述$\mathbf{p}$的方向。若极限$$li{m}_{|\mathbf{p}\to 0|}(f({\mathbf{p}}_1)-f({\mathbf{p}}_0)/|\mathbf{p}|)$$存在，则称其为函数$f$在${\mathbf{p}}_0$沿着$\mathbf{l}$的方向导数，记为$$\partial f/\partial \mathbf{l}{|}_{{\mathbf{p}}_0}=li{m}_{|\mathbf{p}\to 0|}(f({\mathbf{p}}_1)-f({\mathbf{p}}_0)/|\mathbf{p}|)$$其描述了函数$f$在${\mathbf{p}}_0$沿着$\mathbf{l}$方向的变化率。

---

二、梯度
  梯度定义为$$▽f=(\partial f/\partial x_1,...,\partial f/\partial x_n)$$其每个分量描述了$f$沿着每个坐标轴的变化率，根据多维泰勒展开$$f(\mathbf{x})=f({\mathbf{x}}_k)+[▽f({\mathbf{x}}_k){]}^T(\mathbf{x}-{\mathbf{x}}_k)+1/2!\cdot (\mathbf{x}-{\mathbf{x}}_k{)}^{T}H({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k)$$
有$$f({\mathbf{p}}_1)=f({\mathbf{p}}_0)+[▽f{|}_{{\mathbf{p}}_0}{]}^T\mathbf{p}+o(|\mathbf{p}|)$$当$\mathbf{p}$取极限，有$$\begin{array}{rl}li{m}_{|\mathbf{p}|\to 0}(f({\mathbf{p}}_1)-f({\mathbf{p}}_0))/|\mathbf{p}|& =li{m}_{|\mathbf{p}|\to 0}([▽f{|}_{{\mathbf{p}}_0}{]}^T\mathbf{p}+o(|\mathbf{p}|))/|\mathbf{p}|\\ & =li{m}_{|\mathbf{p}|\to 0}[▽f{|}_{{\mathbf{p}}_0}{]}^T\mathbf{p}/|\mathbf{p}|\\ & =[▽f{|}_{{\mathbf{p}}_0}{]}^{T}li{m}_{|\mathbf{p}|\to 0}\mathbf{p}/|\mathbf{p}|\\ & =[▽f{|}_{{\mathbf{p}}_0}{]}^T\mathbf{p}/|\mathbf{p}|\end{array}$$即$$\partial f/\partial \mathbf{l}{|}_{{\mathbf{p}}_0}=[▽f{|}_{{\mathbf{p}}_0}{]}^T\mathbf{p}/|\mathbf{p}|$$

---

三、内积
  在上述式中，$\mathbf{p}/|\mathbf{p}|$代表了$\mathbf{l}$的单位向量，可以描述为方向余弦，形如$$\mathbf{p}/|\mathbf{p}|=(cos({\theta }_1),...,cos({\theta }_n))$$表征该单位向量的方向，且显然有${\sum }_{i=1}^{n}co{s}^2({\theta }_i)=1$。根据向量内积，有$$\mathbf{x}\mathbf{y}=|\mathbf{x}||\mathbf{y}|cos(⟨\mathbf{x},\mathbf{y}⟩)$$那么$$\begin{array}{rl}\partial f/\partial \mathbf{l}{|}_{{\mathbf{p}}_0}& =\partial f/\partial x_1{|}_{{\mathbf{p}}_0}\cdot cos({\theta }_1)+...+\partial f/\partial x_n{|}_{{\mathbf{p}}_0}\cdot cos({\theta }_n)\\ & =|▽f{|}_{{\mathbf{p}}_0}|\cdot cos(⟨▽f{|}_{{\mathbf{p}}_0},\mathbf{l}⟩)\\ & \le |▽f{|}_{{\mathbf{p}}_0}|\end{array}$$当梯度与$\mathbf{l}$的方向一致时，函数$f$在${\mathbf{p}}_0$沿着$\mathbf{l}$方向的变化率最大，即当函数沿着梯度方向前进，函数增长速率最大。