L*ReLU激活函数

最新推荐文章于 2023-05-30 12:04:41 发布

皮鼓坐凳子

最新推荐文章于 2023-05-30 12:04:41 发布

阅读量381

点赞数

分类专栏：激活函数大全文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/weixin_38190702/article/details/125564567

版权

激活函数大全专栏收录该内容

32 篇文章 0 订阅

订阅专栏

L* ReLU激活函数

论文链接：L*ReLU: Piece-wise Linear Activation Functions for Deep Fine-grained Visual Categorization
年份：2019

简介

如果一个激活函数是连续的、有界的，且单调递增的，任何连续的实值函数都可以用一个有隐含层的前馈网络任意地很好地逼近。然而，当网络较深时，这些函数存在梯度消失问题。
为了克服这个问题，引入了ReLU激活函数，ReLU正区域的梯度为1，不存在梯度消失问题。但ReLU的负值为0，导致负区域没有信息流动，即死亡ReLU；激活值的统计平均值仍然大于零，导致连续层偏置偏移。由此出现如Learky
ReLU在负部分引入了一个非常小的负斜率，但仍出现偏置偏移问题。ELU既可以消除负区域的神经元死亡问题，也可以解决偏置偏移问题，但ELU或改进的SELU负区域是有界的。

事实上，即使是对输入数据的微小扰动也可以显著地改变输出。给定一个约束的Lipschitz常数对DNNs在鲁棒性和分类精度方面有重要意义。对于一个分类任务小的Lipschitz常数可以提高泛化能力。由此将多类可分性与分段性AFs与合适的Lipschitz常数联系起来，形成一个新的分段激活函数。

神经网络单个神经元 $j$ 的输出 $a_j$ 被计算为：
$a_j = f(\sum_{i=0}^n w_{i,j}a_i)$
$a_i$ 为上层的输出， $w_{i,j}$ 为相关权重， $f (x)$ 为非线性函数，称为激活函数。
$f (x)$ 编码了一个特征在输入中存在或不存在的程度：如果 $f (x) > 0$ ，则特征存在，如果 $f(x)\le 0$ ，则特征不存在。

对于处理一般尺度的分类问题，普通的激活函数就够了，但是对于处理FGVC细粒度图像分类问题是不够的，通常在FGVC中，不同的类具有相似的外观，只有在细微的视觉差异上有所不同。

Lipschitz-continuous 函数

一个函数 $f$ ： $\mathbb{R}\to\mathbb{R}$ 被称为Lipschitz连续函数，如果存在一个常数 $L\ge 0$ 满足：
$|f(x_i) - f(x_j)| \le |x_i - x_j|$
其中 $x_i, x_j \in \mathbb{R}$ ， $L$ 称为Lipschitz 常数或最小Lipschitz常数。当 $x_i \neq x_j$ 时，可知
$\frac{|f(x_i)- f(x_j)|}{x_i - x_j}\le L$
这意味着符合利普希茨条件的函数的斜率，必小于一个称为利普希茨常数的实数（该常数依函数而定），即
$f^\prime(z)\le L, z\in I,I\in \mathbb{R}$
换句话说：
$\sup_{x\in I}|f^\prime(x)|$

这样，Lipschitz常数 $L$ 度量了函数 $f (x)$ 在区间 $I$ 内的最大变化率。如果 $0\le L < 1$ ，那么 $f$ 被称为 $I$ 上的收缩映射。

此外，一个lipschitz连续函数 $f$ : $\mathbb{R}\to \mathbb{R}$ 也是均匀连续的，对于每一个 $\epsilon>0$ 存在 $\delta> 0$ 使得对于所有 $x_i, x_j\in \mathbb{R}$ 有:
$|x_i -x_j|<\delta \Rightarrow |f(x_i) - f(x_j)|<\epsilon$

换句话说，一个均匀连续函数，如果 $x_i$ 和 $x_j$ 足够接近，确保 $f(x_i)$ 和 $f(x_j)$ 彼此接近。

定义一个分段线性激活函数

细粒度的图像分类任务需要用激活函数类模拟特征存在的程度和缺失程度。由于这两个方面与正负区域有关，由此提出用分段函数来解决这个问题，具体为：
$n(x\le 0)$
其中 $\max(\phi(x), 0)$
$\min(\eta(x), 0)$
其中 $\phi(x)$ 和 $\eta(x)$ 是任意(非线性)函数 $\mathbb{R\to R}$ 。这样，确保分段函数的正部分和负部分位于笛卡尔坐标系的第一和第三象限。可以将几乎所有流行的AFs重写为这样的形式。FGCV需要一个非饱和的、单调递增的有界函数。由此提出：
$\max(x, 0)$
$\min(\alpha x, 0)$
其中 $\alpha\ge 0$ 定义负部分线性函数的斜率。

有的文献已经证明了给定任意有限的数据集，其中不同的类在输入空间中至少间隔了 $c$ 的距离，存在一个具有Lipschitz常数 $c / 2$ 的函数，可以正确地分类所有的点。换句话说，不同的数据集可能有不同的可分性，这就需要学习具有不同属性的函数。这可以通过根据数据的lipschitz性质选择合适的斜率来实现。