机器学习 --激活函数sigmoid. tanh. relu对比

最新推荐文章于 2024-03-18 20:09:37 发布

广小辉

最新推荐文章于 2024-03-18 20:09:37 发布

阅读量681

点赞数

分类专栏：人工智能系列机器学习1-机器学习的基本概念

本文链接：https://blog.csdn.net/Galbraith_/article/details/104453212

版权

人工智能系列机器学习1-机器学习的基本概念专栏收录该内容

21 篇文章 0 订阅

订阅专栏

1. 三种函数的表达式

sigmoid函数【S函数】：
1. 表达式 $g(z)=\frac{1}{1+e^{-z}}$
2. 导数： $g^{'}(z)=g(z)(1-g(z))$
tanh函数【双S函数】：
1. 表达式： $f(z)=\frac{e^z - e^{-z}}{e^z + e^{-z}}$
2. 导数： $f^{'}(z)=1-f(z)^2$
relu函数【rectified Linear Unit】：
1. 表达式： $r e l u (z) = m a x (0, z)$
2. 导数： $g^{'}(z)= 0 if z < 0 else 1$

2. 函数图像

在这里插入图片描述

import numpy as np
from matplotlib import pyplot as plt

def sigmoid(x):
   return 1 / (1 + np.exp(-x))

def tanh(x):
   return (np.exp(x) - np.exp(-x))/(np.exp(x) + np.exp(-x))

def relu(x):
   return max(0, x)

x = np.arange(-5, 5, 0.1)
y1 = [sigmoid(_) for _ in x]
y2 = [tanh(_) for _ in x]
y3 = [relu(_) for _ in x]

plt.figure(figsize=(24, 8))

plt.subplot(1, 3, 1)
plt.plot(x, y1, linewidth=3)
plt.grid(True)
plt.title('Sigmoid')
plt.subplot(1, 3, 2)
plt.plot(x, y2, linewidth=3)
plt.grid(True)
plt.title('tanh')
plt.subplot(1, 3, 3)
plt.plot(x, y3, linewidth=3)
plt.grid(True)
plt.title('Relu')
plt.show()

3. 各个激活函数优缺点

在隐藏层，tanh函数要优于sigmoid函数，可以认为是sigmoid的平移函数，优势在于其范围位于-1~1之间，数据的平均值为0，有类似于去中心化的效果。
在输出层，sigmoid要优于tanh函数。然而在实际应用中，tanh和sigmoid会在端值趋于饱和，导致训练速度变慢【梯度消失的现象】。【正常的逻辑为：端值趋于饱和 —>梯度消失---->训练速度变慢】
relu的优点【考点】
1. 不需要像sigmoid等复杂的运算，只需要一个阈值就可以激活[阈值为0]
2. 无饱和现象，明显减轻梯度消失现象；
3. 求解导函数容易；
4. 能够加快训练速度【减轻了梯度消失，自然提高了训练速度】
5. Relu会使一部分神经元变为0，这样就造成了网络的稀疏，并且减少了参数的相互依存关系，缓解了过拟合的发生。