关闭

CReLU激活函数

2790人阅读 评论(0) 收藏 举报
分类:

一种改进ReLU激活函数的文章,来自ICML2016.

文章链接: 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》

1. 背景介绍

整个文章的出发点来自于下图的统计现象:

这里写图片描述

为了看懂上图。

(1)首先介绍一下余弦相似度(cos距离)的概念

cos距离的取值范围是 [-1,+1],距离越接近-1,表示两个向量的方向 越相反,即呈 负相关关系。

(2)再来介绍一下pair filter的定义

一个卷积层有 \(j=1,…,n\) 个卷积核(filter)。 一个卷积核 \(\phi_{i}\)
对应的pairing filter定义为 \(\overline{\phi_{i}} =
\mathop{\arg\min}_{\phi_j}cos<\phi_{i},\phi_{j}>\). 即从所有卷积核中选择一个cos相似度最小的卷积核。

我们再回头看上图。 对所有卷积核寻找其pair filter,并计算cos相似度得到蓝色的统计直方图。 红色的曲线,是假设随机高斯分布生成的卷积核得到的相似度统计。

现象:

网络的前部,参数的分布有更强的负相关性(类似于正负对立)。随着网络变深,这种负相关性逐步减弱。

结论:

网络的前部,网络倾向于同时捕获正负相位的信息,但ReLU会抹掉负响应。 这造成了卷积核会存在冗余。

2. CReLU

CReLU的定义很简单:

\(CReLU(x) = [ReLU(x),ReLU(-x)]\)

输出维度会自动加倍。 比如 \(-3 \rightarrow [0,3]\) \(\quad3 \rightarrow [3,0]\)

在网络中的实现也很简单,甚至不用修改代码(通过scale层取反再经过一次ReLU)

更多实验结果和讨论请参看原文。

3
0
查看评论

Understanding and Improving Convolutional Neural Networks via CReLU

论文作者在 AlexNet 的模型上做了一个有趣的实验,发现:较低的卷积层中的一些滤波器核存在着负相关程度很高的滤波器核,而层次越高的卷积层,这一现象越不明显。作者把这一现象称为 pairing phenomenon。基于这一现象作者认为低层的卷积层具有冗余性,于是提出了CReLU。
  • Dilusense
  • Dilusense
  • 2017-02-14 16:30
  • 2053

深度学习基础(十二)—— ReLU vs PReLU

从算法的命名上来说,PReLU 是对 ReLU 的进一步限制,事实上 PReLU(Parametric Rectified Linear Unit),也即 PReLU 是增加了参数修正的 ReLU。在功能范畴上,ReLU 、 PReLU 和 sigmoid 、 tanh 函数一样都是作为神经元的激励...
  • lanchunhui
  • lanchunhui
  • 2016-09-23 23:30
  • 6358

激活函数-Concatenated Rectified Linear Units

ICML2016Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units本文在深入分析CNN网络内部结构,发现在CNN网络的前几层学习到的滤波器中存在负相关。 ...
  • cv_family_z
  • cv_family_z
  • 2016-09-01 15:09
  • 3510

撸一撸 ICML2016的CReLU

此方法来源于: ICML2016  Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units. 这篇论文~~ 实验代码 :https://gith...
  • zwlq1314521
  • zwlq1314521
  • 2017-09-05 15:19
  • 362

relu和crelu使用

之前不了解crelu,随便将网络中的relu换成crelu, 然后调了半天的bug。 —–自己写bug,自己调bug, 死循环ing ——先看写一段代码:import tensorflow as tf import collections slim = tf.contrib.slimweights...
  • zjm750617105
  • zjm750617105
  • 2017-08-23 17:53
  • 232

PVANet中的改进后的CReLU的caffe实现

https://github.com/sanghoon/pva-faster-rcnn/blob/master/models/pvanet/pva9.1/faster_rcnn_train_test_21cls.pt layer {   name: "conv1_1/conv&q...
  • guojingjuan
  • guojingjuan
  • 2017-11-16 15:40
  • 236

深度学习中的激活函数导引

http://mp.weixin.qq.com/s__biz=MzI1NTE4NTUwOQ==&mid=2650325236&idx=1&sn=7bd8510d59ddc14e5d4036f2acaeaf8d&scene=0#wechat_redirect ...
  • baidu_32211041
  • baidu_32211041
  • 2016-09-23 20:56
  • 408

ReLU激活函数:简单之美

导语在深度神经网络中,通常使用一种叫修正线性单元(Rectified linear unit,ReLU)作为神经元的激活函数。
  • cherrylvlei
  • cherrylvlei
  • 2016-11-13 17:46
  • 6093

浅谈深度学习中的激活函数 - The Activation Function in Deep Learning

原文地址:http://www.cnblogs.com/rgvb178/p/6055213.html版权声明:本文为博主原创文章,未经博主允许不得转载。激活函数的作用首先,激活函数不是真的要去激活什么。在神经网络中,激活函数的作用是能够给神经网络加入一些非线性因素,使得神经网络可以更好地解决较为复杂...
  • Scythe666
  • Scythe666
  • 2017-07-19 09:24
  • 786

RELU 激活函数及其他相关的函数

本博客仅为作者记录笔记之用,不免有很多细节不对之处。 还望各位看官能够见谅,欢迎批评指正。 更多相关博客请猛戳:http://blog.csdn.net/cyh_24 如需转载,请附上本文链接:http://blog.csdn.net/cyh_24/article/details/...
  • u013146742
  • u013146742
  • 2016-07-21 20:51
  • 41879
    个人资料
    • 访问:654835次
    • 积分:6876
    • 等级:
    • 排名:第4047名
    • 原创:135篇
    • 转载:11篇
    • 译文:1篇
    • 评论:524条