activation function:在神经网络中经常,看到它的身影。那现在问题来啦。它是什么?为什么需要它?
有些回答:增加非线性特征。解决线性无法分割的难题,…。严格来讲这些回答太笼统。
第一个问题:先来回答它是什么?
它是一个non-linear function.
是一个连续的函数,
并且在定义域内处处可微。
(可微,不一定可导。这是微分的基础知识,不太清楚的童鞋,一定要把断点,可(偏)微,可(偏)导,全微搞清楚)下面常用激活函数表:
名称,点图,公式,一阶导数,值域,定义域。
In computational networks, the activation function of a node defines the output of that node given an input or set of inputs. A standard computer chip circuit can be seen as a digital network of activation functions that can be “ON” (1) or “OFF” (0), depending on input