3.7 为什么需要非线性激活函数-深度学习-Stanford吴恩达教授

最新推荐文章于 2022-12-10 21:18:40 发布

Zhao-Jichao

最新推荐文章于 2022-12-10 21:18:40 发布

阅读量4.3k

点赞数 3

分类专栏：深度学习DL 文章标签：深度学习神经网络人工智能 python 机器学习

本文链接：https://blog.csdn.net/weixin_36815313/article/details/105340199

版权

深度学习DL 专栏收录该内容

206 篇文章 2952 订阅

订阅专栏

←上一篇	↓↑	下一篇→
3.6 激活函数	回到目录	3.8 激活函数的导数

为什么需要非线性激活函数 (Why do you need non-linear activation function?)

为什么神经网络需要非线性激活函数？事实证明：要让你的神经网络能够计算出有趣的函数，你必须使用非线性激活函数，证明如下：

这是神经网络正向传播的方程，现在我们去掉函数 $g$ ，然后令 $a^{[1]}=z^{[1]}$ ，或者我们也可以令 $g (z) = z$ ，这个有时被叫做线性激活函数（更学术点的名字是恒等激励函数，因为它们就是把输入值输出）。为了说明问题我们把 $a^{[2]}=z^{[2]}$ ，那么这个模型的输出 $y$ 或仅仅只是输入特征 $x$ 的线性组合。

如果我们改变前面的式子，令： (1) $a^{[1]}=z^{[1]}=W^{[1]}x+b^{[1]}$

(2) $a^{[2]}=z^{[2]}=W^{[2]}a^{[1]}+b^{[2]}$ 将式子(1)代入式子(2)中，则： $a^{[2]}=z^{[2]}=W^{[2]}(W^{[1]}x+b^{[1]})+b^{[2]}$

(3) $a^{[2]}=z^{[2]}=W^{[2]}W^{[1]}x+W^{[2]}b^{[1]}+b^{[2]}$ 简化多项式得 $a^{[2]}=z^{[2]}=W^{'}x+b^{'}$ 如果你是用线性激活函数或者叫恒等激励函数，那么神经网络只是把输入线性组合再输出。

我们稍后会谈到深度网络，有很多层的神经网络，很多隐藏层。事实证明，如果你使用线性激活函数或者没有使用一个激活函数，那么无论你的神经网络有多少层一直在做的只是计算线性函数，所以不如直接去掉全部隐藏层。在我们的简明案例中，事实证明如果你在隐藏层用线性激活函数，在输出层用sigmoid函数，那么这个模型的复杂度和没有任何隐藏层的标准Logistic回归是一样的，如果你愿意的话，可以证明一下。

在这里线性隐层一点用也没有，因为这两个线性函数的组合本身就是线性函数，所以除非你引入非线性，否则你无法计算更有趣的函数，即使你的网络层数再多也不行；只有一个地方可以使用线性激活函数------ $g (z) = z$ ，就是你在做机器学习中的回归问题。 $y$ 是一个实数，举个例子，比如你想预测房地产价格， $y$ 就不是二分类任务0或1，而是一个实数，从0到正无穷。如果 $y$ 是个实数，那么在输出层用线性激活函数也许可行，你的输出也是一个实数，从负无穷到正无穷。

总而言之，不能在隐藏层用线性激活函数，可以用ReLU或者tanh或者leaky ReLU或者其他的非线性激活函数，唯一可以用线性激活函数的通常就是输出层；除了这种情况，会在隐层用线性函数的，除了一些特殊情况，比如与压缩有关的，那方面在这里将不深入讨论。在这之外，在隐层使用线性激活函数非常少见。因为房价都是非负数，所以我们也可以在输出层使用ReLU函数这样你的 $\hat{y}$ 都大于等于0。