CReLU激活函数

3781人阅读 评论(0) 收藏 举报
分类:

一种改进ReLU激活函数的文章,来自ICML2016.

文章链接: 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》

1. 背景介绍

整个文章的出发点来自于下图的统计现象:

这里写图片描述

为了看懂上图。

(1)首先介绍一下余弦相似度(cos距离)的概念

cos距离的取值范围是 [-1,+1],距离越接近-1,表示两个向量的方向 越相反,即呈 负相关关系。

(2)再来介绍一下pair filter的定义

一个卷积层有 \(j=1,…,n\) 个卷积核(filter)。 一个卷积核 \(\phi_{i}\)
对应的pairing filter定义为 \(\overline{\phi_{i}} =
\mathop{\arg\min}_{\phi_j}cos<\phi_{i},\phi_{j}>\). 即从所有卷积核中选择一个cos相似度最小的卷积核。

我们再回头看上图。 对所有卷积核寻找其pair filter,并计算cos相似度得到蓝色的统计直方图。 红色的曲线,是假设随机高斯分布生成的卷积核得到的相似度统计。

现象:

网络的前部,参数的分布有更强的负相关性(类似于正负对立)。随着网络变深,这种负相关性逐步减弱。

结论:

网络的前部,网络倾向于同时捕获正负相位的信息,但ReLU会抹掉负响应。 这造成了卷积核会存在冗余。

2. CReLU

CReLU的定义很简单:

\(CReLU(x) = [ReLU(x),ReLU(-x)]\)

输出维度会自动加倍。 比如 \(-3 \rightarrow [0,3]\) \(\quad3 \rightarrow [3,0]\)

在网络中的实现也很简单,甚至不用修改代码(通过scale层取反再经过一次ReLU)

更多实验结果和讨论请参看原文。

查看评论

C++ Builder 6 BizSnap/SOAP/WebService(2) -- 通过 SOAP 传递自定义类型数据(改)

    说明:本文经过一些改动,纠正了一些问题,因为原文无法修改,只好重发。不久前我收到几位朋友发来Mail说明他们在按照本文所述进行WebService应用开发时碰到的一个问题:在用ISAPI方式编...
  • Raptor
  • Raptor
  • 2002-08-19 16:31:00
  • 5072

Understanding and Improving Convolutional Neural Networks via CReLU

论文作者在 AlexNet 的模型上做了一个有趣的实验,发现:较低的卷积层中的一些滤波器核存在着负相关程度很高的滤波器核,而层次越高的卷积层,这一现象越不明显。作者把这一现象称为 pairing ph...
  • Dilusense
  • Dilusense
  • 2017-02-14 16:30:03
  • 2331

ReLU、LReLU、PReLU、CReLU、ELU、SELU

ReLU LReLU PReLU CReLU ELU SELUReLU tensorflow中:tf.nn.relu(features, name=None)LReLU(Leaky-ReLU) ...
  • qq_20909377
  • qq_20909377
  • 2018-01-22 22:25:34
  • 1635

撸一撸 ICML2016的CReLU

此方法来源于: ICML2016  Understanding and Improving Convolutional Neural Networks via Concatenated Rectif...
  • zwlq1314521
  • zwlq1314521
  • 2017-09-05 15:19:56
  • 482

激活函数-Concatenated Rectified Linear Units

ICML2016Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear...
  • cv_family_z
  • cv_family_z
  • 2016-09-01 15:09:54
  • 3797

DeepLearning学习笔记之ReLU函数

一、什么是稀疏激活函数(ReLU) ReLU全称是Rectified Liner Uints,其具体形式为y=max(0,x)。         ReLU具有:1、单侧抑制;2、相对宽阔的兴奋边界...
  • l349074299
  • l349074299
  • 2017-05-24 17:12:24
  • 2000

RELU 激活函数及其他相关的函数

本博客仅为作者记录笔记之用,不免有很多细节不对之处。 还望各位看官能够见谅,欢迎批评指正。 更多相关博客请猛戳:http://blog.csdn.net/cyh_24 如需转载,请附...
  • u013146742
  • u013146742
  • 2016-07-21 20:51:17
  • 49568

PVANet中的改进后的CReLU的caffe实现

https://github.com/sanghoon/pva-faster-rcnn/blob/master/models/pvanet/pva9.1/faster_rcnn_train_test_...
  • guojingjuan
  • guojingjuan
  • 2017-11-16 15:40:38
  • 400

caffe中对6种激活函数类的封装--ReLu

上文中提到了6种激活函数,本文主要是对于6种激活函数在caffe中的实现代码进行一下代码解析。按照上文的顺序:ReLu、Sigmod、Tanh、Absval、Power、BNLL; 【在caffe中的...
  • u012746763
  • u012746763
  • 2016-04-06 16:23:51
  • 1625

ReLU激活函数:简单之美

导语在深度神经网络中,通常使用一种叫修正线性单元(Rectified linear unit,ReLU)作为神经元的激活函数。...
  • cherrylvlei
  • cherrylvlei
  • 2016-11-13 17:46:24
  • 14203
    个人资料
    持之以恒
    等级:
    访问量: 78万+
    积分: 7590
    排名: 3585