阶跃激活函数即将兴起！

本文是关于神经网络中的的激活函数，具体来说是围绕 阶跃函数（又称Step function，1 (if x>0) 0 else）, 注意在0点取0. 图像如下：

                                                               

下面将对此函数的详解及其发展前景进行讨论。具体分以下几个部分：

一.大脑的工作机制及与激活函数的来历

二. 阶跃激活函数的近似：ReLU、sigmoid等激活函数的发展

三.阶跃激活函数的前景

一.大脑的工作机制及与激活函数的来历

神经网络是模仿生物人脑的工作机制，因此了解清楚大脑的工作原理及其重要。

在生物神经网络中，信息的传递是通过神经元的树突和轴突的结合，（在前膜的内侧有致密突起和网格形成的囊泡栏栅，其空隙处正好容纳一个突触小泡，它可能有引导突触小泡与前膜接触的作用，促进突触小泡内