机器学习(一):激活函数(Activation Function)

原创 2016年08月29日 21:57:34

0. 激活函数

这里写图片描述

  • 上图为wiki上的定义:激活函数定义了每个节点(神经元)的输出和输入关系的函数。

  • 下表:常用激活函数

1)
sigmoid(x)
φ(x)=11e x
2)
softmax(x)
φ(x)=ezjKk=1ezk
3)
tanh(x)
φ(x)=tanh(x)
4)
Scaledtanh([scaleIN,scaleOUT])
φ(x)=tanh(αx)β
5)
ReLU
φ(x)=max(0,x)
6)
LeakyReLU
f(x)={xifx>00.1xotherwise
7)
VaryLeakyReLU
a=13
8)
ParametricReLU
f(x)={xifx>0axotherwise
9)
RandomizedReLU
f(x)=max(0,x+Y),withYN(0,σ(x))
10)
Maxout
ifa<0,f(x)=max(x,ax)
11)
elu(x)
φ(x)=(x>0)?x:ex1
12)
softplus(x)
φ(x)=log(1+ex)
13)
linear(x)
φ(x)=x
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

机器学习总结(七):基本神经网络、BP算法、常用激活函数对比

1.   神经网络 (1)为什么要用神经网络? 对于非线性分类问题,如果用多元线性回归进行分类,需要构造许多高次项,导致特征特多学习参数过多,从而复杂度太高。 (2)常用的激活函数及其优...

激活函数

激活函数的作用神经网络为什么要使用激活函数?

【机器学习】神经网络-激活函数-面面观(Activation Function)

日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等等。不过好像忘了问自己: 1. 为什么需要激活函数? 2. 激活函数都有哪些?都长什么样?有哪些优缺点? ...
  • cyh24
  • cyh24
  • 2016-01-27 12:35
  • 24893

[TensorFlow 学习笔记-06]激活函数(Activation Function)

[版权说明] TensorFlow 学习笔记参考:  李嘉璇 著 TensorFlow技术解析与实战 黄文坚 唐源 著 TensorFlow实战郑泽宇  顾思宇 著 TensorFlow实战Goog...

神经网络之激活函数(Activation Function)(附maxout)

原文地址http://blog.csdn.net/cyh_24/article/details/50593400 Why use activation functions? 激活函数通常有如下...
  • whiup
  • whiup
  • 2016-08-22 13:44
  • 3729

《Noisy Activation Function》噪声激活函数(一)

Noisy Actiation Functions是ICML 2016年新发表的一篇关于激活函数的论文,其中对以往的激活函数进行了深入的分析,并提出了训练过程中添加噪声的新方法,效果不错,觉得很有意义...

神经网络之激活函数(Activation Function)(附maxout)

神经网络之激活函数(Activation Function)(附maxout)

神经网络中的激活函数(activation function)-Sigmoid, ReLu, TanHyperbolic(tanh), softmax, softplus

不管是传统的神经网络模型还是时下热门的深度学习,我们都可以在其中看到激活函数的影子。所谓激活函数,就是在神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端。常见的激活函数包括Sigmoid、...
  • qrlhl
  • qrlhl
  • 2017-03-08 22:06
  • 3177

莫烦学习笔记之TensorFlow(Activation function)激励函数

莫烦之TensorFlow机器学习笔记
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)