神经网络的激活函数为什么必须使用非线性函数

神经网络的激活函数必须使用非线性函数。换句话说,激活函数不能使
用线性函数。为什么不能使用线性函数呢?因为使用线性函数的话,加深神
经网络的层数就没有意义了。
线性函数的问题在于,不管如何加深层数,总是存在与之等效的“无
隐 藏 层 的 神 经 网 络”。为 了 具 体 地(稍 微 直 观 地)理 解 这 一 点,我 们 来 思
考 下 面 这 个 简 单 的 例 子。这 里 我 们 考 虑 把 线 性 函 数 h(x) = cx 作 为 激 活
函 数,把 y(x) = h(h(h(x))) 的 运 算 对 应 3 层 神 经 网 络 A 。这 个 运 算 会 进 行
y(x) = c × c × c × x 的乘法运算,但是同样的处理可以由 y(x) = ax (注意,
a = c 3 )这一次乘法运算(即没有隐藏层的神经网络)来表示。如本例所示,
使用线性函数时,无法发挥多层网络带来的优势。因此,为了发挥叠加层所
带来的优势,激活函数必须使用非线性函数。

利用网络层数的加多，学习情况往往会更好，但是如果隐藏层使用线性函数，最后一定可以找到一个线性函数表示，这样就相当于没有使用隐藏层，没有意义！