梯度下降的超参数大于等于2什么意思_梯度、散度、旋度与矢量分析

矢量分析在场论中非常重要，而三个基本算子（梯度、散度与旋度）又是构成各种复杂关系式的基础，下面逐一介绍，应特别注意散度与旋度的基本定义。对于矢量恒等式，在此列出是为了使用时查找方便，具体推导利用张量表示易得。

1.梯度(Gradient)

梯度在数值计算中有着非常广泛的应用，如共轭梯度法，梯度下降法与梯度上升法等，在三维直角坐标系中，某个场

的梯度定义为：

梯度物理意义为：在某个场中，某点的某物理参数增加最快的方向，梯度大小就是增加率。举个例子，我们站在山脚爬山时（此山只有一个山峰），我们迈步第一步的方向有无数个，若想走最短路程到达山顶，此时应沿梯度方向迈出，以此类推，直至到达山顶。从此爬山过程易得，若某点梯度为

，那这个点一定是极值点（极大或极小）。因此，梯度在最优化理论中发挥着重要作用，如利用梯度下降法(gradient descent)寻找某个函数的最小值。若该函数为凸函数，能很容易地找到一个全局最小值，否则易陷入局部极小值，如下图所示：

图片来源：https://www.mltut.com/stochastic-gradient-descent-a-super-easy-complete-guide/

除了标量场具有梯度，矢量场也具有梯度。矢量场的梯度将这个矢量线性映射到了另一个矢量，因此对矢量场的梯度是一个张量。在直角坐标系中，若存在矢量场

：

,

则该矢量场的梯度为：

2.散度(Divergence)

散度与通量相关，其在电磁学中有着非常广泛的应用，矢量场

在

处的散度定义为：

其中，体积V为包含点

的一个无穷小体积，

为体积表面外法线单位向量，面积分代表矢量场在

处通量(flux)，注意此处为围道积分，即封闭体积的表面。

某点散度代表了该点向外的通量体密度，其物理意义可以理解为：定量给出向量场中任一点是否为源点或汇点。若某点散度等于0，则说明其通量为0，流进=流出；若某点散度大于0，说明流出>流进，相当于一个源点(source)；若某点散度小于0，说明流出<流进，相当于一个汇点(sink)。

应用：流体力学中不可压缩条件为：速度场的散度为0。注意此处的推导过程为，不可压缩意味着密度为常数，根据欧拉描述下（基于场的描述）质量连续性方程：

,

由于密度为常数，因此其对时间的全导数应为0，因此得出速度的散度为0。

图片来源Wikipedia

在三维直角坐标系中，散度计算公式为：

散度还有一个非常重要的定理，即散度定理(divergence theorem)，也叫高斯定理(Gauss's theorem)，应用极其广泛，其将面积分与体积分联系起来。关于散度定理的证明，由散度定义式易得。

.

3.旋度(Curl)

旋度与环量(circulation)联系紧密，其在流体力学中有着广泛的应用，其定义为：

.

这个式子代表：矢量场

在

点的旋度与任一单位向量的点积（其实质是将旋度投影到单位向量上去）等于以此单位向量为外法线的无穷小曲面的

环量面密度。此处注意线积分方向为逆时针；若为顺时针，前面应该加上负号。判断一个点有无旋度，非常直观的做法是：设想将一个风扇放在待求点处，若风扇不转，则无旋度；反之，则有旋度。

图片来源Wikipedia

在三维直角坐标系中，旋度的计算为：

旋度中有个重要的Stokes' theorem，将线积分与面积分联系起来：

此处，应注意线积分的方向是逆时针。

在连续介质力学中，有个常用关系式，即速度的旋度等于角速度的两倍。在流体力学中，这个量叫涡量(Vorticity)，应注意不能用涡量来判断是否有漩涡（vortex），即有漩涡，其涡量可能等于0，也可能不等于0。

证明：

最后指出一点：一个旋度为0的矢量场被称为“无旋的”，如纵波传播被称为“无旋波”；散度为0被称为“等容的”，如横波传播被称为“等容波”，表明在传播过程中体积不变。

4.矢量分析中常用恒等式

1)

2)

3)

4)

5)

6)

7)

8)

9)

10)兰姆矢量：

11)Helmholtz decomposition：

前提：

二阶可微，此时可将矢量场

分成一个无旋场+无散场，实现解耦，如横波与纵波方程推导。

(1)~(10)式用张量表示进行推导特别简单，见本专栏《什么是张量》中对1)式的推导。

Hsuty：什么是张量(tensor)？​zhuanlan.zhihu.com

5.重要方程

1）流体力学，对不可压缩理想流体，Navier-Stokes equations：

这实质为牛顿第二定律，等号左边为ma（惯性力），右边为F。

第“1”项括号中的式子代表加速度，此加速度是速度的全导数，即物质导数（速度是时间与位置的函数）。第“2”项为单位质量流体压力梯度；第“3”项为剪切粘性项；第“4”项为单位质量体积力。其中，对流加速度项

是非线性的，注意此处

是一个二阶张量。梯度算子是“升级作用“，如对标量的梯度是矢量（一阶张量），对矢量的梯度是二阶张量。

推导物质导数：

在三维直角坐标系中，

的表达式为：

该方程解的存在性与光滑性还未得到证明，这也是七个千禧年大奖难题之一。

2）固体力学，均匀各向同性介质，Lame-Navier equations:

其中，

是位移，

是体力，

为lame常数，

是密度。

这个方程实质也是牛顿第二定律，左边是ma，右边是力。

3）电磁学，Maxwell's equation

电荷有正电荷和负电荷，因此其散度不为0。

无磁单极，因此其散度为0。

其中，电场为

，磁场为

，

是总电荷密度，

是介电常数，

是磁导率，

是总电流密度。介电常数与磁导率的乘积是光速平方的倒数：

一个小故事，Maxwell's equation最初由Maxwell推导得出时具有20个方程，是Heaviside于1885年将其简化到4个方程。更进一步，若用外微分形式，可将散度与旋度统一，此时只需一个方程即可描述麦克斯韦方程组，即：