激活函数的作用
首先,激活函数不是真的要去激活什么。在神经网络中,激活函数的作用是能够给神经网络加入一些非线性因素,使得神经网络可以更好地解决较为复杂的问题。
比如在下面的这个问题中:
如上图(图片来源),在最简单的情况下,数据是线性可分的,只需要一条直线就已经能够对样本进行很好地分类。
但如果情况变得复杂了一点呢?在上图中(图片来源),数据就变成了线性不可分的情况。在这种情况下,简单的一条直线就已经不能够对样本进行很好地分类了。
于是我们尝试引入非线性的因素,对样本进行分类。
在神经网络中也类似,我们需要引入一些非线性的因素,来更好地解决复杂的问题。而激活函数恰好就是那个能够帮助我们引入非线性因素的存在,使得我们的神经网络能够更好地解决较为复杂的问题。
激活函数的定义及其相关概念
在ICML2016的一篇论文Noisy Activation Functions中,作者将激活函数定义为一个几乎处处可微的 h : R → R 。
在实际应用中,我们还会涉及到以下的一些概念:
a.饱和
当一个激活函数h(x)满足
![](https://i-blog.csdnimg.cn/blog_migrate/ba4f714f3d20789d8987b4b71b93afed.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/29f5a7b88dc02ac269fa1ed57cf03aff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0ef6cd79a0d85eba71940599269a5f8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/09bc406c12c4ae3ed7bf6a866dc7f6c5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8de75f8724a362a4d8d049da3d6b6dec.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8931e08b8b1d399ae381efffcc8aa58a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
当一个激活函数h(x)满足
![](https://i-blog.csdnimg.cn/blog_migrate/ba4f714f3d20789d8987b4b71b93afed.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bfb80f0a1ee23a2cbf92423bf6ed18a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/67a84f4e1878d11bafb7876f951c2211.png)
![](https://i-blog.csdnimg.cn/blog_migrate/29f5a7b88dc02ac269fa1ed57cf03aff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0ef6cd79a0d85eba71940599269a5f8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/82548a8215e7d4e4e1027a9769b8cded.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8de75f8724a362a4d8d049da3d6b6dec.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8931e08b8b1d399ae381efffcc8aa58a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
b.硬饱和与软饱和
对任意的
,如果存在常数
,当
时恒有
h′(x)=0则称其为右硬饱和,当
时恒 有
则称其为左硬饱和。若既满足左硬饱和,又满足右硬饱和,则称这种激活函数为硬饱和。但如果只有在极限状态下偏导数等于0的函数,称之为软饱和。
Sigmoid函数
Sigmoid函数曾被广泛地应用,但由于其自身的一些缺陷,现在很少被使用了。Sigmoid函数被定义为:
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bea4967978e15bb3abb50a286d5ef68e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/82548a8215e7d4e4e1027a9769b8cded.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7a84aad039dc6020cf22d400dcc35906.jpeg)
优点:
1.Sigmoid函数的输出映射在
(0,1)之间,单调连续,输出范围有限,优化稳定,可以用作输出层。
2.求导容易。
缺点:
1.由于其软饱和性,容易产生梯度消失,导致训练出现问题。
2.其输出并不是以0为中心的。
tanh函数
现在,比起Sigmoid函数我们通常更倾向于tanh函数。tanh函数被定义为
![](https://i-blog.csdnimg.cn/blog_migrate/3d9d71b76c1e848bc56d134ebe1b8ec4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e674a5a2981c286f31fb8bd325d43ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb63b2540aea19f9b0b41a8db48dd760.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b118516083c6e628292b10734e6deae7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bea4967978e15bb3abb50a286d5ef68e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/82548a8215e7d4e4e1027a9769b8cded.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bea4967978e15bb3abb50a286d5ef68e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/82548a8215e7d4e4e1027a9769b8cded.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e98ebe837d1fd8126c2c39c9823aa305.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
函数位于[-1, 1]区间上,对应的图像是:
![](https://i-blog.csdnimg.cn/blog_migrate/dbe3eda9ace6d337d671f7acadb9069a.jpeg)
优点:
1.比Sigmoid函数收敛速度更快。
2.相比Sigmoid函数,其输出以0为中心。
缺点:
还是没有改变Sigmoid函数的最大问题——由于饱和性产生的梯度消失。
ReLU
ReLU是最近几年非常受欢迎的激活函数。被定义为
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92716003cd75cbc4d278755e6032b480.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6d0fc1aea091feec12150ec965e4d06f.jpeg)
但是除了ReLU本身的之外,TensorFlow还提供了一些相关的函数,比如定义为min(max(features, 0), 6)的tf.nn.relu6(features, name=None);或是CReLU,即tf.nn.crelu(features, name=None)。其中(CReLU部分可以参考 这篇论文)。
优点:
1.相比起Sigmoid和tanh,ReLU (e.g. a factor of 6 in Krizhevsky et al.)在SGD中能够快速收敛。例如在下图的实验中,在一个四层的卷积神经网络中,实线代表了ReLU,虚线代表了tanh,ReLU比起tanh更快地到达了错误率0.25处。据称,这是因为它线性、非饱和的形式。
![](https://i-blog.csdnimg.cn/blog_migrate/6297b07efd413261ff4a6f1cd00f6123.jpeg)
2.Sigmoid和tanh涉及了很多很expensive的操作(比如指数),ReLU可以更加简单的实现。
3.有效缓解了梯度消失的问题。
4.在没有无监督预训练的时候也能有较好的表现。
![](https://i-blog.csdnimg.cn/blog_migrate/ea0eac7aaaaf39401c37374d2cf73ab2.png)
5.提供了神经网络的稀疏表达能力。
缺点:
随着训练的进行,可能会出现神经元死亡,权重无法更新的情况。如果发生这种情况,那么流经神经元的梯度从这一点开始将永远是0。也就是说,ReLU神经元在训练中不可逆地死亡了。
LReLU、PReLU与RReLU
通常在LReLU和PReLU中,我们定义一个激活函数为
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92716003cd75cbc4d278755e6032b480.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e674a5a2981c286f31fb8bd325d43ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/74092a6ffadb10bd51b86d80e50819a3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/74092a6ffadb10bd51b86d80e50819a3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
-LReLU
当
ai比较小而且固定的时候,我们称之为LReLU。LReLU最初的目的是为了避免梯度消失。但在一些实验中,我们发现LReLU对准确率并没有太大的影响。很多时候,当我们想要应用LReLU时,我们必须要非常小心谨慎地重复训练,选取出合适的
a,LReLU的表现出的结果才比ReLU好。因此有人提出了一种自适应地从数据中学习参数的PReLU。
-PReLU
PReLU是LReLU的改进,可以自适应地从数据中学习参数。PReLU具有收敛速度快、错误率低的特点。PReLU可以用于反向传播的训练,可以与其他层同时优化。
在论文Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification中,作者就对比了PReLU和ReLU在ImageNet model A的训练效果。
值得一提的是,在tflearn中有现成的LReLU和PReLU可以直接用。
-RReLU
在RReLU中,我们有
![](https://i-blog.csdnimg.cn/blog_migrate/92d78adcee450910e4b88030f4540c66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92716003cd75cbc4d278755e6032b480.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e674a5a2981c286f31fb8bd325d43ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/74092a6ffadb10bd51b86d80e50819a3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/74092a6ffadb10bd51b86d80e50819a3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e674a5a2981c286f31fb8bd325d43ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9f56ea4f3ab4a51b87c5566ec528192f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/48d19bfa0f623eefba7ce7b2e8bfa794.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/102cbf9daf70aa498f3dd8edd1c9dad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2f2d83c11ef450b2c3b2081f2471f15c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/102cbf9daf70aa498f3dd8edd1c9dad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4b491f192380190650dba82e572d724.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2f2d83c11ef450b2c3b2081f2471f15c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e674a5a2981c286f31fb8bd325d43ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb63b2540aea19f9b0b41a8db48dd760.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b3c532ab0fba44e613f92882b4a75959.png)
![](https://i-blog.csdnimg.cn/blog_migrate/102cbf9daf70aa498f3dd8edd1c9dad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2f2d83c11ef450b2c3b2081f2471f15c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9e83c4666d5c6d1e3d92cde14811b4be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/810d6f5b4a3982dff54f17887337e9a1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e65772aa812105ef8508cf64d1fd482d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
其中,
![](https://i-blog.csdnimg.cn/blog_migrate/8e674a5a2981c286f31fb8bd325d43ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6b88272f07d175e5d65a217429b3a560.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ec30adfc9d2be6b536dd717474e1fc1d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05d645deb64f305d6f80e1fdf68d53b3.png)
在论文Empirical Evaluation of Rectified Activations in Convolution Network中,作者对比了RReLU、LReLU、PReLU、ReLU 在CIFAR-10、CIFAR-100、NDSB网络中的效果。
ELU
ELU被定义为
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/92716003cd75cbc4d278755e6032b480.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e674a5a2981c286f31fb8bd325d43ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bea4967978e15bb3abb50a286d5ef68e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/caec8a25c90cc1c44dc58bc6e8a65c8a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/74092a6ffadb10bd51b86d80e50819a3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d4b491f192380190650dba82e572d724.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/74092a6ffadb10bd51b86d80e50819a3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/894a97bd64c57015422fe3288c5e3bb3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8e674a5a2981c286f31fb8bd325d43ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9b2305d5e383f23cad9d0c0c6955c1be.png)
![](https://i-blog.csdnimg.cn/blog_migrate/10cba0ffe69cd900c24c5299a8d08feb.png)
优点:
1.ELU减少了正常梯度与单位自然梯度之间的差距,从而加快了学习。
2.在负的限制条件下能够更有鲁棒性。
ELU相关部分可以参考这篇论文。
Softplus与Softsign
Softplus被定义为
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/102cbf9daf70aa498f3dd8edd1c9dad2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/059903740862340e7ef26d7caabf949c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc68beb72b8b4ef8fda61133418b57c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bea4967978e15bb3abb50a286d5ef68e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/05c8fd8693c1c0df801db5fc9327b1e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
Softsign被定义为
![](https://i-blog.csdnimg.cn/blog_migrate/0c239da639d66724c2a5824c53ec2b74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/76dccd98123055d17b6c35c314e81901.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d733635b0594e601d4728551240d3d44.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f77ee0e67bf691be5bd110737181ae6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5ba8f6b2cfb3f2ae594c97871b583d20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1f1e8de35be44108310d6d58a5cb5e74.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5ba8f6b2cfb3f2ae594c97871b583d20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8b2cb2b2ca0937287acbf1eaa98410c9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c56dad2551f4e96aff4fd10e80e4d74.png)
目前使用的比较少,在这里就不详细讨论了。TensorFlow里也有现成的可供使用。 激活函数相关TensorFlow的官方文档
总结
关于激活函数的选取,目前还不存在定论,实践过程中更多还是需要结合实际情况,考虑不同激活函数的优缺点综合使用。同时,也期待越来越多的新想法,改进目前存在的不足。