我与激活函数二三事

1.激活函数的作用：

提供网络非线性建模的能力，原理就是将数据通过一个非线性函数，修改数据的阿值，使网络具有非线性能力，防止梯度消失。

什么是激活函数？为什么要使用激活函数？
如果没有 relu 等激活函数（也叫非线性）， Dense 层将只包含两个线性运算——点积 和加法：
output = dot(W, input) + b
这样 Dense 层就只能学习输入数据的线性变换（仿射变换）：该层的假设空间是从输 入数据到16 位空间所有可能的线性变换集合。这种假设空间非常有限，无法利用多个表示 层的优势，因为多个线性层堆叠实现的仍是线性运算，添加层数并不会扩展假设空间。 为了得到更丰富的假设空间，从而充分利用多层表示的优势，你需要添加非线性或激 活函数。relu 是深度学习中最常用的激活函数，但还有许多其他函数可选，它们都有类似 的奇怪名称，比如 prelu、elu 等

1.sigmod :最后一层使用sigmod激活以输出一个0-1范围内的概率值（压缩到0-1），根据概率判别类型。

2.relu：线性整流单元。将所有负值归零。