深度学习——PReLU激活

最新推荐文章于 2025-05-16 14:34:14 发布
最新推荐文章于 2025-05-16 14:34:14 发布
阅读量7.7w 收藏 108
点赞数 34
CC 4.0 BY-SA版权
分类专栏： 深度学习基础 caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuzfan/article/details/51345832
本文介绍了PReLU激活函数，一种改进版的ReLU函数，能够解决ReLU的死亡神经元问题。文章详细阐述了PReLU的工作原理及其与ReLU和LeakyReLU的区别，并解释了参数ai的更新方法及初始化设置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本次介绍PReLU激活函数，方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.

PReLU激活

PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下图：
PReLU vs. ReLU

如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。 有实验证明，与ReLU相比，LReLU对最终的结果几乎没什么影响。

PReLU的几点说明

（1） PReLU只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同channels使用相同的ai时，参数就更少了。

（2） BP更新ai时，采用的是带动量的更新方式，如下图：

带动量更新

上式的两个系数分别是动量和学习率。
需要特别注意的是：更新ai时不施加权重衰减(L2正则化)，因为这会把ai很大程度上push到0。事实上，即使不加正则化，试验中ai也很少有超过1的。

（3） 整个论文，ai被初始化为0.25。

1. 深度学习——激活函数
qq_32468785的博客
11-10 1277
激活函数是一种用于神经网络和其他机器学习模型中的非线性函数。它被应用于神经网络的每个神经元上，将输入信号进行转换，产生输出信号。激活函数的作用是引入非线性性质，使神经网络能够学习和表示更复杂的函数关系。在神经网络中，每个神经元接收来自上一层神经元的加权输入，然后通过激活函数对这个加权输入进行非线性变换，生成神经元的输出。这个输出被传递到下一层神经元作为输入。激活函数的主要作用有以下几点：引入非线性：激活函数能够将线性变换后的输入转换为非线性输出，使得神经网络具备非线性建模能力。
深度学习笔记——优化算法、激活函数
haopinglianlian的博客
11-21 2071
本笔记介绍深度学习中常见的优化算法、激活函数。
深度学习之激活函数——PReLU
m0_61787307的博客
05-18 1530
参数整流线性激活函数(PReLU)，全称Parametric ReLU，在解决ReLU激活函数会出现的dead relu神经元死亡的现象的同时，引入一个新的可学习的参数对激活函数进行控制。
PReLU激活函数
Fdghex的博客
11-20 384
对于通道独立的激活函数，较深的卷积层通常具有较小的系数。换句话说，学习模型倾向于在较早的阶段保留更多的信息，并在更深层次阶段变得更具辨别力。（1）pr只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同chaanels使用相同的ai时，参数就更少了。更新ai时不施加权重衰减（L2正则化），因为这会把ai很大正度上push到0.事实上，即使不施加正则化，实验中ai也很烧有超过1的。顾名思义，带参数的ReLU，两者的定义和区别如下图所示。）在反向传播的过程中，
激活函数全解析：定义、分类与 17 种常用函数详解
最新发布
COOCC1的博客
05-16 1330
限制激活范围，适合低精度设备（如移动端 float16/int8），避免数值溢出。：多分类任务输出层，将 logits 转化为概率（值域 [0,1]，和为 1）。：Swish 的特例（β=1），平滑且非单调，PyTorch 中已内置。：x≥0 时线性输出，x<0 时恒为 0，导函数为 0 或 1。：ReLU 的平滑版本，输出非负，0 点可导，但计算量较大。：S 型曲线，值域 [0,1]，导函数最大值 0.25。：S 型曲线，值域 [-1,1]，关于原点对称。：λ 为固定超参数，可能影响模型灵活性。
深度学习基础 十二 ReLU vs PReLU
hftytf的博客
11-06 536
深度学习基础 十二 ReLU vs PReLU
【激活函数】PRelu激活函数
Roaddd的博客
08-06 1770
论文地址：https://arxiv.org/pdf/1502.01852.pdf 论文题目：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification PRelu激活函数        PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下
【激活函数】PReLU 激活函数
Next_SummerAgain的博客
01-06 2963
PReLU（Parametric Rectified Linear Unit）激活函数是ReLU（Rectified Linear Unit）激活函数的一种改进。它是由 He et al. 在 2015 年提出的，旨在解决ReLU激活函数的一些局限性。
PyTorch学习笔记：nn.PReLU——PReLU激活函数
qq_50001789的博客
02-10 1万+
PyTorch学习笔记：nn.PReLU——PReLU激活函数
机器学习中的数学——激活函数（六）：Parametric ReLU（PReLU）函数
热门推荐
冯·诺依曼
10-06 2万+
PReLU 也是 ReLU 的改进版本： PReLU(x)={x,x>0αix,x≤0 PReLU(x)=\left\{ \begin{aligned} x & \quad ,x > 0 \\ \alpha_i x & \quad , x\leq 0\\ \end{aligned} \right. PReLU(x)={xαi​x​,x>0,x≤0​ PReLU函数中，参数α\alphaα通常为0到1之间的数字，并且通常相对较小。 如果αi=0\alpha_i=0αi​=0
深度学习_深度学习基础知识_PReLU
欢迎大家关注我
03-12 834
PReLU简介 PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下图： 如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。 有实验证明，与ReLU相比，LReLU对最终的结果几乎没什么影响。 PReLU的几点说明 （1） ...
深度学习——激活函数、损失函数、优化器、参数显存占用分析
qq_50737873的博客
12-12 1094
δ。
深度学习——激活函数(Sigmoid/ReLU/Softplus/Swish/Maxout)
海军上将光之翼的博客
05-04 3132
激活函数的作用        激活函数对于深度学习来说非常的重要，我们假设现在有n个神经元x1,…,xnx_1,\dots,x_nx1​,…,xn​，其参数为w1,…,wnw_1,\dots,w_nw1​,…,wn​，偏置为b。 z=∑i=1nwixi+bz = \sum_{i=1}^{n}w_ix_i+bz=i=1∑n​wi​xi​+b a=f(z)a =...
【第1章：深度学习概览——1.4 深度学习的核心组件与概念解析之激活函数的作用与类型】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
02-13 192
好了啊，说了这么多，咱们来总结一下。激活函数是深度学习模型中的“调味剂”，它给神经网络引入了非线性因素，让神经网络能够拟合各种复杂的曲线和数据分布。常见的激活函数有Sigmoid函数、Tanh函数、ReLU函数等，它们各有千秋，适用于不同的场景和任务。在实际应用中，咱们需要根据具体任务和数据分布来选择合适的激活函数。未来的研究可能会集中在设计自适应激活函数、开发定制化激活函数等方面。好啦，今天咱们就聊到这儿吧。希望这篇超长超详细的文章能帮大家更好地理解深度学习的核心组件与概念解析之激活函数的作用与类型。
TensorFlow学习笔记之 PReLU激活函数原理和代码
种树最好的时间是10年前，其次是现在！！！
05-26 1万+
专栏【超分辨率】 目录前言ReLU 激活函数ReLU 代码实现PReLU 激活函数 前言 在开始之前，简单说几句，为什么会想到 PReLU 激活函数？因为最近在复现一个论文时遇到了一个【超分辨率】的关键技术——关键亚像素卷积(Sub-Pixel)，详情请看我的另一个 blogblogblog ——【超分辨率】你真的懂什么是亚像素卷积(Sub-Pixel)嘛？？？闲言少叙，进入正题。 ReLU 激活...
PReLU Introduction
Focusing on your own Mind :) －> 站在巨人的肩膀上
06-17 2798
reference: http://blog.csdn.net/shuzfan/article/details/51345832 本次介绍PReLU激活函数，方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》. 1.PReLU激活
神经网络常见激活函数 5-PReLU函数
hbkybkzw的博客
02-08 1323
后的情况，请注意， LeakyReLU 中 ，p 是固定值，一般设置为较小值，而 PReLU 中，它和 ReLU 函数的不同之处在于，当 x 小于零时，PReLU 函数的导数值是可学习的参数。注意，alpha的初始值通过alpha_initializer设置，不可直接传入数值，需要使用。这使得 PReLU 函数在负值区域的斜率可以自适应地调整。注意，alpha的初始值通过init设置，默认是0.25,当前设置为0.5。是一个可学习的参数，它在训练过程中被优化。是可训练对象，在训练阶段是不断学习变化的。
彩色图像的PSNR、SSIM、LPIPS、CIEDE2000评价算法源码matlab
07-16
以下是彩色图像的PSNR、SSIM、LPIPS和CIEDE2000评价算法的Matlab源码示例： 1. PSNR（峰值信噪比）： ```matlab function psnr_value = PSNR(original, distorted) [M, N, ~] = size(original); mse = sum((original(:) - distorted(:)).^2) / (M * N * 3); max_value = max(original(:)); psnr_value = 10 * log10(max_value^2 / mse); end ``` 2. SSIM（结构相似性指数）： ```matlab function ssim_value = SSIM(original, distorted) K1 = 0.01; K2 = 0.03; L = 255; C1 = (K1 * L)^2; C2 = (K2 * L)^2; original = double(original); distorted = double(distorted); mean_original = filter2(fspecial('gaussian', 11, 1.5), original, 'valid'); mean_distorted = filter2(fspecial('gaussian', 11, 1.5), distorted, 'valid'); var_original = filter2(fspecial('gaussian', 11, 1.5), original.^2, 'valid') - mean_original.^2; var_distorted = filter2(fspecial('gaussian', 11, 1.5), distorted.^2, 'valid') - mean_distorted.^2; cov_original_distorted = filter2(fspecial('gaussian', 11, 1.5), original .* distorted, 'valid') - mean_original .* mean_distorted; ssim_map = ((2 * mean_original .* mean_distorted + C1) .* (2 * cov_original_distorted + C2)) ./ ((mean_original.^2 + mean_distorted.^2 + C1) .* (var_original + var_distorted + C2)); ssim_value = mean2(ssim_map); end ``` 3. LPIPS（感知相似性指标）：需要下载并使用LPIPS库，源码和使用说明可在https://github.com/richzhang/PerceptualSimilarity 找到。 4. CIEDE2000（CIE 2000色差公式）：需要下载并使用CIEDE2000库，源码和使用说明可在https://www.mathworks.com/matlabcentral/fileexchange/46861-color-difference-cie-de2000 找到。 以上是基本的示例代码，用于评估图像质量的不同评价指标。你可以根据实际需求和图像数据进行适当的调整和修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值