导数、梯度、微分、次导数、次微分和次梯度的概念

首先感谢如下两位博主的精彩原创：
参考文献：
https://blog.csdn.net/bitcarmanlee/article/details/51896348
https://blog.csdn.net/qq_32742009/article/details/81704139
次导数、次微分和次梯度属于凸优化中的概念。在对三者进行阐述之前，先回顾下导数、微分、和梯度的概念。

导数

梯度在一元函数中的特例。

梯度

是一个向量，梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。计算时候，对每一维的方向求偏导。

微分

是一个增量

次导数

一元函数中的称呼
导数的泛化意义，如果函数f(x)在某点不可导，那么在该点函数f(x)就不存在导数，但在该点会存在次导数。
次导数，即通过该不可导点(x0,f(x0))的一条直线的斜率，该直线要在函数图像之下或者和函数图像重合，不能超过函数图像或与函数图像相交。即可以用下图来表示：

次微分

一元函数中的称呼
凸函数$f$:$I\to R$在点$x_0$的次导数，是实数c使得：
$f(x)-f(x_0)\ge c(x-x_0)$
对于所有$I$内的$x$。我们可以证明，在点$x_0$的次导数的集合是一个非空闭区间[a, b]，其中a和b是单侧极限
$$a=\underset{x\to x_0^{-}}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$$
$$b=\underset{x\to x_0^{+}}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$$
它们一定存在，且满足a ≤ b。
所有次导数的集合[a,b][a,b]称为函数ff在x0x0的次微分。
例如：考虑凸函数f(x)=|x|f(x)=|x|。在原点的次微分是区间[−1, 1]。x0<0x0<0时，次微分是单元素集合{-1}，而x0>0x0>0，则是单元素集合{1}。

次梯度

次导数在多元函数中的称呼
次导数和次微分的概念可以推广到多元函数。如果$f:U\to R$是一个实变量凸函数，定义在欧几里得空间$R^n$内的凸集，则该空间内的向量$v$称为函数在点$x_0$的次梯度，如果对于所有$U$内的$x$，都有：
$$f(x)-f(x_0)\ge v\cdot (x-x_0)$$
需要说明的是上面的概念是对一元函数的而言的，当然次导数和次微分也可以推广到多元函数。
结合上面梯度的定义来看，次导数是次梯度的一种特殊情况，即函数f只是一元函数。在忽略变量个数时，可以认为次导数和次梯度是一个概念。
一维次梯度称为次导数，通过求函数在某点的每一分量的次导数（对应可导中求对每个变量求偏导）可以求出函数在该点的次梯度。在一元函数中，某点所有次导数的集合被称为次微分，而在多元函数中，所有次梯度的集合被称为次微分。函数f在某不可微点的次梯度不唯一，特别的，当f可微的时候，次梯度和梯度等价。

次微分

次微分在多元函数中的称呼
所有次梯度的集合称为次微分，记为$\partial f(x0)$。次微分总是非空的凸紧集。