【第22期】观点:IT 行业加班,到底有没有价值?

机器学习(一):激活函数(Activation Function)

原创 2016年08月29日 21:57:34

0. 激活函数

这里写图片描述

  • 上图为wiki的定义:激活函数定义了每个节点(神经元)的输出和输入关系的函数。

  • 下表:常用激活函数

1)
sigmoid(x)
φ(x)=11e x
2)
softmax(x)
φ(x)=ezjKk=1ezk
3)
tanh(x)
φ(x)=tanh(x)
4)
Scaledtanh([scaleIN,scaleOUT])
φ(x)=tanh(αx)β
5)
ReLU
φ(x)=max(0,x)
6)
LeakyReLU
f(x)={xifx>00.1xotherwise
7)
VaryLeakyReLU
a=13
8)
ParametricReLU
f(x)={xifx>0axotherwise
9)
RandomizedReLU
f(x)=max(0,x+Y),withYN(0,σ(x))
10)
Maxout
ifa<0,f(x)=max(x,ax)
11)
elu(x)
φ(x)=(x>0)?x:ex1
12)
softplus(x)
φ(x)=log(1+ex)
13)
linear(x)
φ(x)=x

1. sigmoid函数

  • matlab代码块
x = -5:0.1:5;
y = sigmf(x,[1,0]);
plot(x,y);
  • 图像

这里写图片描述

注:

  • 其对 x 的导数可以用自身来表示。
  • 缺点:当输入非常大(小)的时候(saturation),容易使一些神经元的梯度为 0

2. softmax函数

注:

  • sigmoid 拟合 Bernoulli distributionsoftmax 拟合 Multinomial distribution ;
  • 如果某一个 zj 大过其他z,那这个映射的分量就逼近于1 ,其他就逼近于 0,主要应用就是多分类,sigmoid 函数只能分两类,而 softmax能分多类,softmaxsigmoid 的扩展。
  • Logistic 回归中,样本数据的值,而在 softmax 回归中,其中是类别种数,比如在手写识别中,表示要识别的 10 个数字。

3. Tanh函数

  • 和sigmoid对比图像

这里写图片描述

4. ReLU函数

这里写图片描述

未完待更

References

1234
版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

【机器学习】神经网络-激活函数-面面观(Activation Function)

日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等等。不过好像忘了问自己: 1. 为什么需要激活函数? 2. 激活函数都有哪些?都长什么样?有哪些优缺点? ...
  • cyh24
  • cyh24
  • 2016-01-27 12:35
  • 19877

神经网络中的激活函数

最近在看深度学习的东西,激活函数是其中的一个环节,就从网上的一搜寻关于激活函数的介绍 激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。 常用激活函数         激活函...

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

几种常见的激活函数

本课程笔记是基于今年斯坦福大学Feifei Li, Andrej Karpathy & Justin Johnson联合开设的Convolutional Neural Networks for Vis...

激活函数的作用

首先摆结论,因为线性模型的表达能力不够,引入激活函数是为了添加非线性因素。 接下来展开来说。为什么要引入激活函数?在神经网络中,每一层输出的都是上一层输入的线性函数,所以无论网络结构怎么搭,输出都是...

激活函数

激活函数的作用神经网络为什么要使用激活函数?

激活函数

关于神经网络激励函数的作用,常听到的解释是:不使用激励函数的话,神经网络的每层都只是做线性变换,多层输入叠加后也还是线性变换。因为线性模型的表达能力不够,激励函数可以引入非线性因素。 其实很多时候我们...

Deep learning系列(七)激活函数

介绍了三种神经网络激活函数。

激活函数

深度学习中的激活函数导引 我爱机器学习(52ml.net)2016年8月29日0 作者:程程 链接:https://zhuanlan.zhihu.com/p/22142013 ...

深度学习笔记六:常见激活函数总结

深度学习常见激活函数总结

常用激活函数比较

转载自不会停的蜗牛常用激活函数比较 本文结构: 什么是激活函数为什么要用都有什么sigmoid ,ReLU, softmax 的比较如何选择 1. 什么是激活函数 如下图,在神经元中,输入...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)