入门卷积神经网络学习（三） 激活函数

什么是激活函数

输入信号的总和会被函数h(x)转换，转换后的值就是输出y。
函数h(x)就被称为激活函数。

举个例子：输入信号x1,x2.经过权重w1,w2偏置b的计算总和为a.a通过激活函数h()输出y.

那么我们为什么要用激活函数呢？

因为如果没有激活函数，那么我们的输出信号仅仅是一个线性函数。它没有办法解决复杂的数据。
激活函数的主要作用是为隐含层（中间层）引入非线性。加入非线性，多层神经网络的预测能力李就得到了显著的提高，对于后向传播算法，激活函数必须可微。
所以神经网络的激活函数必须是非线性函数。

激活函数有哪些常用的？

1.sigmoid函数

sigmoid函数：h(x)=1/ 1 + exp(-x). exp（-x）表示e的-x次方。

由图就可以直接理解非线性。线性函数的值只能返回0或1这种整数，而非线性函数却可以返回0.11565.这种实数，所以说非线性函数流动的是一种连续的实数值信号。
但是sigmoid函数存在梯度消亡问题。这个以后再说。

ReLU函数