激活函数

最新推荐文章于 2022-07-07 18:23:30 发布

小田_

最新推荐文章于 2022-07-07 18:23:30 发布

阅读量1.4k

点赞数

分类专栏： DL 深度学习文章标签：激活函数 relu sigmoid 阶跃

本文链接：https://blog.csdn.net/weixin_45390999/article/details/115020837

版权

DL 深度学习专栏收录该内容

10 篇文章 0 订阅

订阅专栏

文章目录

关于激活函数

激活函数，英文：Activation Function

大部分工具，都要考虑他使用的场景。百度词条上会将激活函数，和他所服务的神经网络联系在一起。他们注重全面、无错误，却没有解释到本质；不够熟悉神经网络这个体系架构、以及各种专业词的人，看这个解释基本都是云里雾里，这代表根本不理解。

什么叫激活？就是说，原来是死的，使用这个函数后活了。
不同的激活函数，体现的是：
1、有的继续死，有的活过来了；（有条件/阈值）
2、活过来的的血量不同，有人 80%，有人 40%。（有权重）

下面介绍常用的不同的激活函数

阶跃函数

在这里插入图片描述

是有限段分段常数函数的组合

意思就是：
1、大于0 就为1，小于0就为0；
2、你可以想象成，达成某个标准就OK，没达成就不行。
比如 60分就及格，60分一下就不及格，简单粗暴。

sigmoid 函数

在这里插入图片描述

公式
$ g(z) = \frac{1}{1+e^{-z}} $

$g:\mathbb{R} \to [0,1]$
$g (0) = 0.5$
$\infty)=0$
$\infty)=1$

0-1的优势，可以表示为概率。可用于数据的归一化。
缺点：梯度消失和偏置现象。

梯度消失
导数 f’(x)=f(x)(1-f(x))，当x趋于无穷时，f(x)的两侧导数逐渐趋于0。
在后向传递时，sigmoid向下传递的梯度包含了一个 f’(x)因子，因此，一旦落入两端的平滑区，f’(x) 就变得接近于0，导致了向后传递的梯度也非常小。
此时，网络参数很难得到有效训练，这种现象被称为梯度消失，一般在5层以内就会产生梯度消失的现象。

sigmoid函数的输出均大于0，使得输出不是0 均值，称为偏置现象。

代码实现

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

nums = np.arange(-10, 10, step=1) #creates a vector containing 20 equally spaced values from -10 to 10
fig, ax = plt.subplots(figsize=(12,4))
ax.plot(nums, sigmoid(nums), 'r')