关于PRelu：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

于 2020-11-28 14:32:40 发布
阅读量329 收藏
点赞数
分类专栏： 知识分享 有用的文章 文章标签： python 深度学习 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38372240/article/details/110271847
版权

前言

内容是经典激活函数PRelu的提出

内容

在这里插入图片描述
上图左为Relu，右图为PRelu，P相比传统Relu，在坐标系左边有数值。用公式解释：
在这里插入图片描述
当ai=0时，成为Relu；当ai是一个小且固定的数值，则变成Leaky Relu（ai=0.01），LRelu的motivation是为了防止零梯度，即坐标轴左侧有数值。但是在一些研究上，显示LRelu对于精度的影响微乎其微。

Prelu相比Relu只增加了一丁点参数，模型大小上几乎没有任何影响。

实验

这里是几个模型：
在这里插入图片描述

在这里插入图片描述
在相同的结构A下Prelu比Relu效果好（数值越低错误率越低），同时，在深度更深/维度更多的网络结构使用Prelu能够达到更好的效果

全员鳄鱼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[论文笔记] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
Alexzhuan
08-16 1240
这篇是 Kaiming 大神在 ICCV15 上的工作，其主要工作是提出了 Parametric Rectified Linear Unit（PReLU）和一种新的参数初始化方式（在PyTorch等框架中称为 Kaiming 初始化）。 Approach Parametric Rectifiers 在 PReLU 之前就存在着一些尝试去改进 ReLU 的工作。比如 LReLU [1] 就将 ReLU 左侧的常数 0 改为斜率非常小的线性区域，而它的 motivation 是试图去避免 zero gradie
微软亚洲实验室一篇超过人类识别率的论文：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Cla...
weixin_33800463的博客
12-31 344
在该文章的两大创新点：一个是PReLU,一个是权值初始化的方法。下面我们分别一一来看。     PReLU(paramter ReLU) 所谓的PRelu，即在 ReLU激活函数的基础上加入了一个参数，看一个图就明白了： 右边的图上多了一个参数吧，在负半轴上不再为0，而是一个可以学习的斜率。  很容易明白。实验结果显示该方法可以提高识别率。   权值初始化的方法：   对于文中的权值初始化问题...
PReLU——Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
seniusen的博客
04-16 1441
1. 摘要 在 ReLUReLUReLU 的基础上作者提出了 PReLUPReLUPReLU，在几乎没有增加额外参数的前提下既可以提升模型的拟合能力，又能减小过拟合风险。 针对 ReLU/PReLUReLU/PReLUReLU/PReLU 的矫正非线性，作者设计了一个鲁棒的的参数初始化方法。 2. 介绍 在过去几年，随着更强大网络模型的构建和有效防止过拟合策略的设计，我们在视觉识别任务上取...
论文笔记 Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification...
weixin_30909575的博客
06-20 919
最近在调网络结构的参数，其实就是漫无目的的乱改。但是运气不佳，没有得到自己想要的准确率。于是，硬着头皮，去了解一下别人选择参数的一些依据。正如这篇论文的标题：Delving Deep into Rectifiers，或许只有这样才能对选择参数的原则有一个基本认识吧！ Background 　　给定一个很深的网络结构，我们有以下三个个问题需要解决：网络能训练、网络性能好、网络训练速度较快...
[Kaiming]Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
MTandHJ的博客
04-23 971
文章目录概主要内容PReLUKaiming 初始化Forward caseBackward case He K, Zhang X, Ren S, et al. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification[C]. international conferenc...
Delving Deep into Rectifiers：Surpassing Human-Level Performance
03-12
Delving Deep into Rectifiers：Surpassing Human-Level Performance
2015-Kaiming初始化-Delving Deep into Rectifiers_Surpassing Human-Le
08-03
《深入研究整流器：超越人类水平的ImageNet分类》 整流激活单元（Rectified Linear Units，ReLU）在现代神经网络中扮演着至关重要的角色。这篇论文深入探讨了用于图像分类的整流神经网络，从两个方面进行研究。首先...
Delving Deep into Label Smoothing.pdf
05-20
标签平滑技术论文
星图识别matlab代码-Delving-deep-into-GANs:生成对抗网络（GAN）资源按引文排序
05-20
星图识别matlab代码深入研究生成对抗网络（GAN） 精选的，详尽无遗的有关生成对抗网络（GAN）及其应用的最新出版物和资源列表。 背景 生成模型是可以学习创建与我们提供给他们的数据相似的数据的模型。...
delving-deeper-into-the-decoder-for-video-captioning:用于深入研究视频字幕解码器的源代码-tensorflow source code
03-24
深入研究用于视频字幕的解码器 目录 描述 该存储库是名为“的论文的源代码。 该文件已被接受。 编码器-解码器框架是用于视频字幕任务的最流行的范例。 在视频字幕模型的解码器中仍然存在一些不可忽略的问题。...
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
yuanchheneducn的博客
10-17 2507
序：在ISVRC2015 on ImageNet2012 classification dataset 上，取得了4.94%的 top-5 test error，这是第一次超越了人的识别了率（5.1%）. 文章提出了两个内容: (1) Parametric Rectified Linear Unit (PReLU) :使模型以接近0的额外计算代价和较小的过拟合风险训练模型。 (2) MSRA:
PRelu--Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
meanme的专栏
09-28 9425
微软研究院2015的一片论文。1.概要：PRelu其实是Relu的增强版，PRelu使得模型在ImageNet2012上的结果提高到4.94%，超过普通人的正确率；PRelu需要像更新权重weights一样使用BP更新一个额外的参数，但是相较于weights的数量来说，PRelu需要更新的参数总数可以忽略不计，所以不会加重overfitting的影响。如果PRelu的参数为0，那其实就是Relu；如
《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》论文阅读笔记
weixin_40841247的博客
09-03 340
论文原文：http://arxiv.org/abs/1502.01852 论文主要讨论了以ReLU为激活函数的网络的缺陷并提出了改进的激活函数PReLU与新的Kaiming初始化方法 1. PReLU 前向传播 通道独立：f(yi)=max⁡(0,yi)+aimin⁡(0,yi)f\left(y_{i}\right)=\max \left(0, y_{i}\right)+a_{i} \mi...
深度学习论文笔记（MSRA初始化与PReLU）：Surpassing Human-Level Performance on ImageNet Classification
菜到怀疑人生的博客
08-23 876
文章目录主要工作PReLU激活函数PReLU定义PReLU中参数的优化 主要工作 一、提出PReLU激活函数 二、提出适合ReLU与PReLU激活函数的初始化方法MSRA，可有效抵抗梯度消失，训练深度网络 发现了网络的"退化"问题，2016年的时候提出了相应的解决方案——残差结构 值得注意的是，论文里并没有说明PReLU是为了解决ReLU带来的神经元"死亡"问题，ReLU论文中说过神经网络泛化能力...
[深度学习论文笔记][Weight Initialization] Delving deep into rectifiers: Surpassing human-level performance
Hao_Zhang_Vision的博客
09-20 1526
He, Kaiming, et al. “Delving deep into rectifiers: Surpassing human-level performance on imagenet classification.” Proceedings of the IEEE International Conference on Computer Vision. 2015. [Citations
Paper：He参数初始化之《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet C》的翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-10 7298
Paper：He参数初始化之《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》的翻译与解读 Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Class...
《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》阅读笔记与实现
happynear的专栏
05-02 2万+
本期要讲的是来自MSRA的何恺明的论文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》，这篇论文是首次公开宣布图像的识别率超越人类水平的文章，其象征性意义确实巨大，论文出炉时也有很多报道，但我们今天不谈这些，只关注其技术细节。一、Sigmoid，ReLU与Leak
深度学习基础（十二）—— ReLU vs PReLU
热门推荐
09-23 2万+
从算法的命名上来说，PReLU 是对 ReLU 的进一步限制，事实上 PReLU（Parametric Rectified Linear Unit），也即 PReLU 是增加了参数修正的 ReLU。在功能范畴上，ReLU 、 PReLU 和 sigmoid 、 tanh 函数一样都是作为神经元的激励函数（activation function）。
论文提要“Delving Deep into Rectifiers”
cv_family_z的博客
07-09 2637
首先对ReLU进行了改进，使用了参数化的ReLU自适应学习rectifier的参数提升准确率，即PReLU来拟合模型，另外使用了鲁棒的初始化方法考虑rectifier的非线性特性，使得深层网络能够收敛。top-5error 为4.94%，在ILSVRC上首次超越了人眼（感觉这么说还是很牵强的，后面也进行了解释）。过去几年深度学习的主要关注在构建有效的模型和设计应对过拟合的策略上，通过增加网络复杂度，
pytorch kaiming
最新发布
06-12
named after Kaiming He, who proposed it in his 2015 paper "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification". It is a modification of the Xavier ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值