在神经元中,输入通过加权、求和后,还被作用了一个函数,这个函数就是激活函数(又称激励函数)。通常,激活函数需要非线性的。
一、激活函数作用
激活函数可以引入非线性特性,使神经网络可以任意逼近任何非线性函数,使模型表达能力更强。
备注1:如果不使用激活函数或者使用线性激活函数(线性激活函数又称恒等激励函数),每层的输出都是输入的线性函数,不论神经网络有多少隐藏层,一直在做的是计算线性函数(仍是最原始的感知机)。
备注2:激活函数作用直观感受如图1-1、图1-2所示。
在神经元中,输入通过加权、求和后,还被作用了一个函数,这个函数就是激活函数(又称激励函数)。通常,激活函数需要非线性的。
一、激活函数作用
激活函数可以引入非线性特性,使神经网络可以任意逼近任何非线性函数,使模型表达能力更强。
备注1:如果不使用激活函数或者使用线性激活函数(线性激活函数又称恒等激励函数),每层的输出都是输入的线性函数,不论神经网络有多少隐藏层,一直在做的是计算线性函数(仍是最原始的感知机)。
备注2:激活函数作用直观感受如图1-1、图1-2所示。