神经网络的激励函数

**

激励函数

并不是每个神经网络都需要激励函数

为什么要使用激励函数呢？
因为现实生活中并不是所有问题都能被线性方程所解决，就是说有些问题是需要用到非线性方程的。

首先要了解的是激励函数其实就是一个非线性方程，往往非线性问题所需要的非线性方程就是用 激励函数X线性方程得到的。

上图中的y=wx就是一个线性方程，AF（activation function）为非线性方程
激励函数一般为relu，sigmoid, tanh

当使用较少隐藏层的时候，随便选取激励函数都可以，但是当层数较多的时候就不能随便选取了（可能会出现梯度爆炸，梯度消失，这里不做详解）
一般卷积神经网络使用relu, 循环神经网络使用relu或者tanh