学习日记2020-10-22（激活函数）

激活函数

转自博主：激活函数

1 关注问题

分为线性可分和线性不可分两类型的问题。

对于线性可分的问题中：y=w1x1+w2x2…，可以解决。

对于线性不可分的问题：上述的方程式无法解决，所以需要考虑加激活函数：y=激活函数（w1x1+w2x2…）

看到图中的激活函数f(z),在一维的角度来看就是，将直线弯曲。。。二维就是平面变曲面。。。

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。
如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

2 常用的激活函数：

2.1Sigmoid函数

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间 。公式如下

2.2tanh函数

Tanh是双曲函数中的一个，Tanh()为双曲正切。在数学中，双曲正切“Tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。公式如下

2.3Relu函数

Relu激活函数（The Rectified Linear Unit），用于隐层神经元输出。公式如下

Leaky ReLU函数（PReLU）

ELU

2.4Maxout

3 损失函数问题

转自博客：笔记