DeepLearning学习笔记之ReLU函数

一、什么是稀疏激活函数(ReLU)

ReLU全称是Rectified Liner Uints,其具体形式为y=max(0,x)。

        ReLU具有:1、单侧抑制;2、相对宽阔的兴奋边界;3、稀疏激活性等优点。


二、为什么ReLU更有效?

  生物研究表明:生物神经元只对输入信号中很少部分进行响应,大部分信号则被刻意屏蔽掉了。这样做可以更好的提高学习精度,更好更快的提取稀疏特征。这表现为生物神经元的稀疏激活性

三、稀疏性的优势

1、信息解离。原始输入数据往往缠绕着高密度特征,特征之间相互耦合,表现出强烈的非线性特征。传统学习算法往往是采用高维映射等手段进行信息解理,但是往往难以很好的进行解耦。若能通过手段将这些特征转换为稀疏特征,则特征之间耦合更小,特征鲁棒性更强。

2、线性可分。稀疏性特征之间耦合更小,具有更好的线性可分性,对非线性映射机制依赖性更小,用一些简单的线性分类器就可以达到很好的分类效果。

3、稠密但稀疏。原始数据所表现出来的稠密特性,其包含的信息远多于局部特征点;而稀疏性是从稠密特征中解耦得来,在线性可分的同时也保留了原始稠密特征的性能,具有很大的潜力。

四、稀疏激活函数的优势

若激活函数具有稀疏性,则可以更好的从有效的数据维度上,学习到相对稀疏的特征,起到特征自动解耦的作用。

1、非饱和线性端。相比于BP网络、SVM等分类器。采用线性激活函数,网络更快更高效。

2、消失的梯度问题。传统的Sigmoid函数在反向传播中,随着传播层数的增加,误差梯度急剧衰减,导致学习效率低下。这也是为什么传统神经网络往往都是浅层神经网络,因为随着隐藏层的增加,误差梯度在反向传播时对前几层的影响几乎减小至零。但是ReLU的误差梯度是1,可以很好的在网络之间传播,相比于sigmoid、tanh激活函数,学习速度更快。

3、目前的DL架构中,合理的稀疏性比率为70~80%,否则屏蔽特征多过,容易出现欠拟合现象。

阅读更多

没有更多推荐了,返回首页