深度学习基础（二）激活函数

        激活函数（也被称为激励函数）的意义就是加入非线性因素，使得神经网络具有非线性表达的能力。其必要条件是激活函数的输入和输出都是可微的，因为神经网络要求处处可微。(可微是指函数的各个方向可导，可微大于等于可导)

一、激活函数的定义与作用

1.定义。如下图所示，激活函数一般是在神经元的输入(inputs)经过加权求和之后，还继续被一个函数作用。该函数就是激活函数。

                                                  

2.作用。激活函数的意义也就是加入非线性因素，让神经网络具备非线性的表达能力(当然不是真正意义上的非线性，不过可以逼近任意的非线性函数罢了)。这也是个很了不得的进步了。

二、激活函数的类型

函数类型主要有Sigmoid、Tanh、Relu及其变种等函数。

1.Sigmoid

公式：