多层感知机

三.多层感知机：
1.1 形成多层神经网络

1.2 表达公式

1.3 激活函数
上述问题的根源在于全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数（activation function）。
常用激活函数种类：Relu函数, sigmoid函数,tanh函数
1.3.1
Relu函数
公式

函数图像：

梯度图像：

**sigmoid函数：
公式
**

函数图像

梯度图像：

tanh函数
公式

函数图像：

梯度函数：

函数选择：
一般情况下Relu函数 只适用隐藏层使用,而在分类器 并且隐藏层数较小时 sigmoid和tanh函数都适合.而当层数变多时,根据梯度图像可以观察到容易出现梯度消失的现象.