一步一步分析讲解神经网络基础-activation function

activation function：在神经网络中经常，看到它的身影。那现在问题来啦。它是什么？为什么需要它？
有些回答：增加非线性特征。解决线性无法分割的难题，…。严格来讲这些回答太笼统。
第一个问题：先来回答它是什么？
它是一个non-linear function.
是一个连续的函数，
并且在定义域内处处可微。
（可微，不一定可导。这是微分的基础知识，不太清楚的童鞋，一定要把断点，可（偏）微，可（偏）导，全微搞清楚）下面常用激活函数表：
名称，点图，公式，一阶导数，值域，定义域。

In computational networks, the activation function of a node defines the output of that node given an input or set of inputs. A standard computer chip circuit can be seen as a digital network of activation functions that can be “ON” (1) or “OFF” (0), depending on input