深度学习笔记（三）-----------多层感知机（multilayer perceptron，MLP）

深度学习笔记（一）-------线性回归

深度学习笔记（二）------- softmax和分类模型

多层感知机：MLP

多层感知机的一个重要特点就是多层，我们将第一层称之为输入层，最后一层称之有输出层，中间的层称之为隐层。MLP并没有规定隐层的数量，因此可以根据各自的需求选择合适的隐层层数。且对于输出层神经元的个数也没有限制。 

激活函数

在多层感知机中引入激活函数的原因是，将多个无激活函数的线性层叠加起来，其表达能力与单个线性层相同。

解决问题的一个方法是引入非线性变换，这个非线性函数被称为激活函数（activation function）。

几个常用的激活函数：

ReLU函数

ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。给定元素xx，该函数定义为：

 

ReLU函数只保留正数元素，并将负数元素清零。

ReLU函数的导数：

Sigmoid函数

sigmoid函数可以将元素的值变换到0和1之间：

sigmoid函数的导数：

当输入为0时，sigmoid函数的导数达到最大值0.25；当输入越偏离0时，sigmoid函数的导数越接近0。

tanh函数

tanh（双曲正切）函数可以将元素的值变换到-1和1之间：

tanh函数的导数：

当输入为0时，tanh函数的导数达到最大值1；当输入越偏离0时，tanh函数的导数越接近0。

关于激活函数的选择

ReLu函数是一个通用的激活函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用。

用于分类器时，sigmoid函数及其组合通常效果更好。由于梯度消失问题，有时要避免使用sigmoid和tanh函数。

在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。

在选择激活函数的时候可以先选用ReLu函数如果效果不理想可以尝试其他激活函数。

深度学习笔记（一）-------线性回归

深度学习笔记（二）------- softmax和分类模型