多元函数（multivariate function）分析（方向导数和梯度）

• 二阶泰勒展开：

  $$f(\mathbf x)=f(0)+ f'^T\mathbf x+\frac12\mathbf x^Tf''\mathbf x+o(\cdot)$$
  对等式右端求导，并置 0，得 $\mathbf x=f''^{-1}f'$

1. 方向导数与梯度

设有单位向量 $\mathbf h=(h_1,h_2,\cdots,h_n)\in \mathbb R^n$（当然不要求 $h_i$ 之间必须相等），它表示 $n$ 维空间中的一个方向（长度是单位 1），可微（多元）函数 $f(\mathbf x)$ 在点 $\mathbf x$ 沿 $\mathbf h$ 方向的方向导数（directional derivative，沿着某方向的导数）定义为：

$$\frac{\partial f(\mathbf x)}{\partial \mathbf h}=\lim_{\alpha\rightarrow 0^+}\frac{f(\mathbf x+\alpha\mathbf h)-f(\mathbf x)}{\alpha}$$

对 $f(\mathbf x+\alpha\mathbf h)$ 执行（在 $\mathbf x$ 处）泰勒展开：

$$f(\mathbf x+\alpha\mathbf h)=f(\mathbf x)+\nabla f(\mathbf x)^T(\alpha\mathbf h)+o(\|\alpha\mathbf h\|)$$

因此方向导数定义式进一步可化为：

$$\begin{split} \frac{\partial f(\mathbf x)}{\partial \mathbf h}=&\frac{\nabla f(\mathbf x)^T(\alpha\mathbf h)+o(\|\alpha\mathbf h\|)}{\alpha}\\ =&\nabla f(\mathbf x)^T\mathbf h\\ =&\|\nabla f(\mathbf x)\|\cos(\nabla f(\mathbf x),\mathbf h) \end{split}$$

所以其沿任意方向的导数为：$\mathbf h^T\nabla \mathbf f$：

• 大于 0，为上升方向（$f(\mathbf x+\alpha\mathbf h)-f(\mathbf x)>0$）；
• 小于 0，则为下降方向（$f(\mathbf x+\alpha\mathbf h)-f(\mathbf x)<0$）；
• $\cos(\nabla f(\mathbf x),\mathbf h)=1$（夹角为 0°，$\mathbf h=\nabla f$） 时，$\frac{\partial f}{\partial\mathbf h}$ 取的最大值，为 $\|\nabla f\|$，$\mathbf h=\nabla f$ 为最速上升方向；
• $\cos(\nabla f(\mathbf x),\mathbf h)=-1$（夹角为 180°，$\mathbf h=-\nabla f$） 时，$\frac{\partial f}{\partial\mathbf h}$ 取得最小值，为 $-\|\nabla f\|$，$\mathbf h=-\nabla f$ 为最速下降方向；

2. 几种特殊类型的函数，求梯度

自然是对自变量 $\mathbf x$ 求偏导；求梯度得到的是一个列向量；

• $\mathbf b^T\mathbf x=\sum_{i}b_ix_i$，则 $\nabla \mathbf b^T\mathbf x=\mathbf b$

• $\mathbf x^T\mathbf x=\sum_ix_i^2$，则 $\nabla\mathbf x^T\mathbf x=2\mathbf x$

• $\mathbf x^T\mathbf A\mathbf x$（$A^T=A$），则 $\nabla\mathbf x^T\mathbf A\mathbf x=2\mathbf {Ax}$