高维曲面: 方向导数, 梯度, 切平面, 法向量

多个变量的函数

1. 比如, $w=f(x,y)$是三维空间中的曲面, $w=f(x,y,z)$是四维空间中的曲面.
2. 对于定义域是平面的函数 $f(x,y)$, 我们定义 等高线(level curve, contour curve) $f(x,y)=k$ 为二维曲线, 可以由 $w=k$ 得到, 其中 $k$ 是一个常数.
3. 对于定义域是三维的函数$f(x,y,z)$, 我们相应的可以定义 等高面(level surfaces) $f(x,y,z)=k$.
4. 等高线是$z=f(x,y)$和$z=k$两个曲面的交叉, 另一个定义traces是$z=f(x,y)$与$x=k$ 或 $y=k$的交叉.

See https://tutorial.math.lamar.edu/classes/calciii/MultiVrbleFcns.aspx#LevelCurve example 4 for more visual illustrations.

偏导数

偏导数的定义很简单,比如说对于一个函数 $f(x_1,x_2,...,x_n)$, $f$ 对 $x_i$ 的偏导即为
$$\frac{\partial f}{\partial x_i}=\underset{\alpha \to 0}{\lim }\frac{f(x_1,x_2,...,x_i+\alpha ,...,x_n)-f(x_1,x_2,...,x_n)}{\alpha }$$
即,当沿着 $[0,...,\alpha ,...,0]$的方向移动时, $f$的变化快慢. 注意对于偏导数而言, 方向固定为$[0,...,\alpha ,...,0]$这是在${\mathbb{R}}^n$中移动的. 如果$n=2$,那实际上方向是二维的,就只在水平面上移动, 这个偏导数的大小就是沿着给定方向变化的快慢.

方向导数

那么如果我们想看$f$沿着${\mathbb{R}}^n$任一方向的变化快慢 (而不仅仅是bases的方向), 就得用到方向导数了. 定义如下:

$f(x_1,x_2,...,x_n)$ 沿着方向 $\mathbf{t}=(t_1,t_2,...,t_n{)}^{\top }$ (通常$\mathbf{t}$模长为1) 的方向导数为
$$D_{\mathbf{t}}f(x_1,x_2,...,x_n)=\underset{\alpha \to 0}{\lim }\frac{f(x_1+t_1\alpha ,x_2+t_2\alpha ,...,x_n+t_n\alpha )-f(x_1,x_2,...,x_n)}{\alpha }$$
$$=\frac{\partial f}{\partial x_1}{t}_1+\frac{\partial f}{\partial x_2}{t}_2+...+\frac{\partial f}{\partial x_n}{t}_n$$

定义gradient
$$\nabla f={\left[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n}\right]}^{\top }$$
$f(\mathbf{x})$沿着 $\mathbf{t}$ 的方向导数可以更简洁的写为
$$D_{t}f(\mathbf{x})=(\nabla f{)}^{\top }\cdot \mathbf{t}$$
where $\mathbf{x},\mathbf{t}\in {\mathbb{R}}^n$.

注意:梯度gradient是一个方向(且只在${\mathbb{R}}^n$上), 方向导数则是一个数(沿着某一方向的变化率).

• 当 $\mathbf{t}$和$\nabla f$同向时,方向导数最大, 函数上升速度最快; 反向时,方向导数最小(负的),
  函数下降速度最快.
• 对于$f(x_1,x_2,..,x_n)$, 它在$\mathbf{t}=(t_1,t_2,...,t_n)$处的梯度与等高面$f(x_1,x_2,..,x_n)=k$正交,
  其中$f(x_1,x_2,..,x_n)=k$经过$\mathbf{t}$.
  => 令等高面为 $\mathcal{S}$, $\mathbf{t}$在$\mathcal{S}$上, 且$\mathcal{S}$上的任意一条经过$\mathbf{t}$的curve都与 $\nabla f(x_1,x_2,..,x_n)$ 正交

曲面的两种写法

好,最后我们来看看高维曲面的切平面和法向量.

首先, 我们知道一个曲面有两种写法

[第一种写法]
$$z=f(x_1,x_2,...,x_n)$$

第一种写法表示 $(x_1,x_2,...,x_n)$ 的定义域在一个 $n$ 维空间中, 自变量只能在这个空间中到处跑然后$z$取得不同的值. 所以当我们算任意一点的 gradient 时 – 这里的任意一点指的是$(x_1,x_2,...,x_n)$, 一般是optimization 问题的定义域
$$\nabla f(x_1,x_2,...,x_n)={\left[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n}\right]}^{\top }$$

他表示的是一个 $n$维空间的向量, 在任意一点都指示着接下来往哪走是函数上升最快的方向.

[第二种写法]

$$F(x_1,x_2,...,x_n,z)=f(x_1,x_2,...,x_n)-z=0$$

不同于第一种写法,这种写法是将 $f(x_1,x_2,...,x_n)$ 描述为 一个 $n+1$ 维空间中一个图形 $F(x_1,x_2,...,x_n,z)$ 的一个截面: 若令 $w=F(x_1,x_2,...,x_n,z)$, 那么 $f(x_1,x_2,...,x_n)$ 是 $w=F(x_1,x_2,...,x_n,z)$ 和 $w=0$ 的截面.

若对 $F$ 求gradient, 那么这个 gradient 实际上是一个 $n+1$ 维的向量 – “任意一点的梯度” 这句话中的任意一点是 $(x_1,x_2,...,x_n,z)$
$$\nabla F(x_1,x_2,...,x_n,z)={\left[\frac{\partial F}{\partial x_1},\frac{\partial F}{\partial x_2},\cdots ,\frac{\partial F}{\partial x_n},\frac{\partial F}{\partial z}\right]}^{\top }$$

$$={\left[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n},-1\right]}^{\top }$$

注意,这个梯度的前 $n$ 项与 第一种写法下的梯度 $\nabla f(x_1,x_2,...,x_n)$ 是完全一致的, 是同一个方向, 因此,

• $\nabla f(x_1,x_2,...,x_n)$是 $\nabla F(x_1,x_2,...,x_n,z)$ 在 ${\mathbb{R}}^n$ 上的投影

切平面, 法向量, 法线

现在让我们想想, 对于$f$上任意一点 $(t_1,t_2,...,t_n,t_z)$, where $t_z=f(t_1,t_2,...,t_n)$, 我们怎么写出它的切平面 tangent (hyper) plane) 和 法线 normal line. 显然, 如果我们用第一种写法, 是得不到的因为他只限于$n$ 维空间. 而切平面 和 法线 实际上都是 $n+1$ 维空间的. 所以我们采用第二种写法.

已知:

1. 曲面上任意一点的 gradient 与 该surface垂直. 所以这个gradient是法向量.
   => 这个可以由上一节最后的结论推出: $n+1$ 维函数 $F$ 令 $k=0$.
2. 曲面上任意一点的切平面由 所有与法向量垂直的高维直线 构成.

则有: 切平面
$${\left[\nabla F(\mathbf{x},z)\right]}^{\top }[x_1-t_1,x_2-t_2,...,x_n-t_n,z-t_z{]}^{\top }=0$$

$$\left[\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n},-1\right][x_1-t_1,x_2-t_2,...,x_n-t_n,z-t_z{]}^{\top }=0$$

从这个式子中,我们也能得到第一种表达方式下的切平面方程. Let $\mathbf{x}=(x_1,x_2,...,x_n,z{)}^{\top }$, $\mathbf{t}=(t_1,t_2,...,t_n,t_z{)}^{\top }$,

$$[\nabla f(x_1,x_2,...,x_n){]}^{\top }(\mathbf{x}-\mathbf{t})+f(t_1,t_2,...,t_n)=z$$

最后我们来求法线. 已知,

1. 法向量是 $\nabla F(x_1,x_2,...,x_n,z)$
2. 法线过点$(t_1,t_2,...,t_n,t_z)$

hyperplane中的一条线可以用参数方程表示: 任意一个向量, 比如$\nabla F(x_1,x_2,...,x_n,z)$, scale之后可以用来表示穿过原点的一条直线上的所有点, 若我们在这个向量上再加一个vector,就可以让他平行的移动了. 所以, 法线的参数方程为

$$(t_1,t_2,...,t_n,t_z)+t\nabla F(x_1,x_2,...,x_n,z)$$

Reference:
https://tutorial.math.lamar.edu/classes/calciii/DirectionalDeriv.aspx#Gradient_Defn
https://tutorial.math.lamar.edu/classes/calciii/gradientvectortangentplane.aspx