GDN (Generalized Divisive Normalization) 、 PReLU (Parametric Rectified Linear Unit)

一、GDN（广义可分归一化）

（1）GDN的功能

• GDN是一种专门为图像压缩任务设计的非线性归一化层。
• 作用：用于减少图像特征的统计相关性，有效提高图像压缩率与重构质量。

（2）表示

GDN的计算公式为：

$$y_i=\frac{x_i}{\sqrt{{\beta }_i+{\sum }_j{\gamma }_{ij}{x}_j^2}}$$

其中：

• $x_i$ 是输入特征图中的第 $i$ 个通道。
• $y_i$ 是输出的第 $i$ 个通道。
• ${\beta }_i$ 和 ${\gamma }_{ij}$ 是可学习的参数，且保证非负约束 ( ${\beta }_i,{\gamma }_{ij}\ge 0$ )。

直观理解：

• 分母部分对输入通道的特征值做平方并加权求和，形成了一个“归一化因子”，用于调整特征尺度。
• 当某一通道或邻域通道的值很大时，对应输出被压缩，避免特征数值过大影响训练稳定性。

（3）符号说明

符号	含义
$x_i$	输入特征图的第$i$个通道值
$y_i$	输出特征图的第$i$个通道值
${\beta }_i$	通道$i$的偏置参数(可学习)
${\gamma }_{ij}$	通道$j$对通道$i$的权重(可学习)

---

二、PReLU（参数化ReLU激活函数）

（1）PReLU的功能

• PReLU（Parametric Rectified Linear Unit）是一种参数化激活函数。
• 与ReLU不同，PReLU在负区间也引入了可学习参数，用于缓解神经元死亡问题，提升网络的表达能力。

（2）PReLU的表示

PReLU定义为：

$$f(x_i)=\{\begin{array}{ll}{x}_i,& x_i\ge 0\\ a_i{x}_i,& x_i<0\end{array}$$

其中：

• $x_i$ 是输入特征图中的元素值。
• $a_i$ 是可学习的斜率参数，表示负区间的斜率。

特殊情况：

• 当 $a_i=0$ 时，PReLU退化为ReLU。
• 当 $a_i$ 为常数（如0.01），即Leaky ReLU。

（3）符号说明

符号	含义
$x_i$	输入特征图中的元素值
$f(x_i)$	经过PReLU激活后的输出值
$a_i$	负区间斜率参数(可学习)

---

三、分析

对比维度	GDN（广义可分归一化）	PReLU（参数化ReLU）
核心功能	非线性归一化	非线性激活函数
参数化	多个参数（$\beta ,\gamma$）	单个参数 ($a_i$)
计算复杂度	较高（涉及通道之间交互）	较低（单元素运算）
应用场景	图像压缩领域、信号相关性降低	适用于通用深度学习模型
优点	降低数据相关性，提高压缩效率	缓解神经元死亡问题，提升模型泛化能力
缺点	参数较多，计算成本高	仅简单线性参数调整，难以学习复杂映射
典型使用层位置	卷积层后	卷积、全连接层后

---

四、GDN与其他常见归一化/激活函数

方法	类型	公式或特征	是否有参数
ReLU	激活函数	$f(x)=max(0,x)$	无参数
Leaky ReLU	激活函数	$f(x)=max(ax,x)$, a为常数(如0.01)	常数参数(不可学习)
PReLU	激活函数	$f(x)=max(a_{i}x,x)$, a_i可学习	可学习单参数
BatchNorm	归一化方法	$\frac{x-\mu }{\sqrt{{\sigma }^2+ϵ}}\gamma +\beta$	可学习两个参数
GDN	非线性归一化方法	$y_i=\frac{x_i}{\sqrt{{\beta }_i+{\sum }_j{\gamma }_{ij}{x}_j^2}}$	可学习多个参数

• 注： GDN不同于BatchNorm，它同时归一化空间与通道维度的数据。

---

五、GDN和PReLU使用场景与推荐

• GDN 推荐在图像压缩、信号处理、图像特征提取任务中使用，它能有效降低数据冗余性，提升压缩率和重构质量。

• PReLU 推荐在通用深度学习网络设计中使用，尤其适用于大规模、深层次的神经网络，可以减少死神经元现象，提升网络训练稳定性和泛化性能。