机器学习(一):激活函数(Activation Function)

原创 2016年08月29日 21:57:34

0. 激活函数

这里写图片描述

  • 上图为wiki上的定义:激活函数定义了每个节点(神经元)的输出和输入关系的函数。

  • 下表:常用激活函数

1)
sigmoid(x)
φ(x)=11e x
2)
softmax(x)
φ(x)=ezjKk=1ezk
3)
tanh(x)
φ(x)=tanh(x)
4)
Scaledtanh([scaleIN,scaleOUT])
φ(x)=tanh(αx)β
5)
ReLU
φ(x)=max(0,x)
6)
LeakyReLU
f(x)={xifx>00.1xotherwise
7)
VaryLeakyReLU
a=13
8)
ParametricReLU
f(x)={xifx>0axotherwise
9)
RandomizedReLU
f(x)=max(0,x+Y),withYN(0,σ(x))
10)
Maxout
ifa<0,f(x)=max(x,ax)
11)
elu(x)
φ(x)=(x>0)?x:ex1
12)
softplus(x)
φ(x)=log(1+ex)
13)
linear(x)
φ(x)=x
版权声明:本文为博主原创文章,未经博主允许不得转载。

【机器学习】神经网络-激活函数-面面观(Activation Function)

日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等等。不过好像忘了问自己: 1. 为什么需要激活函数? 2. 激活函数都有哪些?都长什么样?有哪些优缺点? ...
  • cyh24
  • cyh24
  • 2016年01月27日 12:35
  • 32727

机器学习理论篇之激活函数优劣比较

激活函数的作用:将一个很大范围的实数,映射到一个很小的范围之内。 为什么要用激活函数: 激活函数的比较: Sigmod函数: 公式: 图像: 优劣: Sigmoid 非线性激活函数,sigm...
  • NFMSR
  • NFMSR
  • 2017年11月21日 19:40
  • 246

机器学习-代价函数 I

什么是cost function? 图一 这里我们有假设函数hΘ(x)和其对应的代价函数J(Θ0, Θ1),我们的目标是使J(Θ0, Θ1)取得最小值,为了更加直观的阐述什么是代价函数,我们让Θ...
  • sword_csdn
  • sword_csdn
  • 2017年08月09日 10:32
  • 82

【机器学习】神经网络-激活函数-面面观(Activation Function)

日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等等。不过好像忘了问自己: 1. 为什么需要激活函数? 2. 激活函数都有哪些?都长什么样?有哪些优缺点? ...
  • cyh24
  • cyh24
  • 2016年01月27日 12:35
  • 32727

机器学习(周志华) 参考答案 第五章 神经网络

机器学习(周志华) 参考答案 第五章 神经网络机器学习(周志华西瓜书) 参考答案 总目录 http://blog.csdn.net/icefire_tyh/article/details/520649...
  • icefire_tyh
  • icefire_tyh
  • 2016年08月03日 20:50
  • 6671

深度学习(二十三)Maxout网络学习

Maxout网络学习 Maxout是深度学习网络中的一层网络,就像什么激活函数层、池化层、卷积层一样。我们假设网络某一层的输入特征向量为:X=(x1,x2,……xd),也就是我们输入是d个神经元。M...
  • hjimce
  • hjimce
  • 2015年12月27日 22:45
  • 15621

【机器学习】神经网络-激活函数-面面观(Activation Function) (Sigmoid Relu tanh)

本博客仅为作者记录笔记之用,不免有很多细节不对之处。 还望各位看官能够见谅,欢迎批评指正。 更多相关博客请猛戳:http://blog.csdn.net/cyh_24 如需转载,请附上本文链接:...
  • taree
  • taree
  • 2017年03月27日 16:21
  • 668

机器学习-神经网络之激活函数(Activation Function)

日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等等。不过好像忘了问自己一(n)件事: 为什么需要激活函数? 激活函数都有哪些?都长什么样?有哪些优缺点? 怎么选...
  • shangming150
  • shangming150
  • 2017年10月26日 14:39
  • 60

[TensorFlow 学习笔记-06]激活函数(Activation Function)

[版权说明] TensorFlow 学习笔记参考:  李嘉璇 著 TensorFlow技术解析与实战 黄文坚 唐源 著 TensorFlow实战郑泽宇  顾思宇 著 TensorFlow实战Goog...
  • caicaiatnbu
  • caicaiatnbu
  • 2017年07月02日 21:55
  • 3475

神经网络之激活函数(Activation Function)

神经网络之激活函数(Activation Function) 本博客仅为作者记录笔记之用,不免有很多细节不对之处。 还望各位看官能够见谅,欢迎批评指正。 更多相关博客请猛戳:http:/...
  • zzw000000
  • zzw000000
  • 2016年08月15日 20:30
  • 319
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习(一):激活函数(Activation Function)
举报原因:
原因补充:

(最多只允许输入30个字)