2023.4.1 激活函数-Python实现

什么是激活函数？

激活函数是控制神经网络输出的数学函数。激活函数有助于确定是否要激活神经元。

一些流行的激活函数是：

• Sigmoid
• ReLU
• Leaky ReLU
• Tanh
• Maxout
• ELU
  

激活负责为神经网络模型的输出添加非线性。没有激活函数，神经网络只是一个线性回归。

计算神经网络输出的数学方程式为：

sigmoid 激活函数

sigmoid 函数的公式

在数学上，sigmoid激活函数表示为：

在 Python 中实现 Sigmoid 函数

在python中的函数定义如下：

import numpy as np
def sig(x):
	return 1/(1 + np.exp(-x))

使用 Python 绘制 Sigmoid 函数

使用python绘制sigmoid激活函数

import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-10,10,50)
p = sig(x)
plt.xlabel("x")
plt.ylabel("Sigmoid(x)")
plt.plot(x, p)
plt.show()

我们可以看出来输出介于0到1之间。

通过观察图片，我们不难看出sigmoid 函数的特点：

对于中间区域，Y值对X值变化的影响非常大；

对于末端区域，Y 值对 X 值变化的响应非常小。

当然，对于末端区域，这导致了一个称为消失梯度问题的问题。

消失梯度减慢了学习过程，因此是不可取的。

于是为了克服这个问题，我们想出来了一些替代方案：ReLu激活函数和Leaky ReLu 激活函数

ReLu激活函数

ReLu(Rectified Linear Activation Function)是深度学习领域最常见的激活函数选择。ReLu提供了最先进的结果，同时在计算上非常高效。

ReLu激活函数的基本概念如下：

如果输入是负数那么返回0，否则按照原样返回。

ReLu激活函数的公式

我们可以用数学方式表示如下：

在 Python 中实现 ReLu 函数

我们将使用内置的 max 函数来实现它

def relu(x):
	return max(0.0, x)

使用 Python 绘制 ReLu 函数

使用python绘制ReLu激活函数

import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-10,10,51)
y = []
for i in x:
    p = relu(i)
    y.append(p)
plt.xlabel("x")
plt.ylabel("ReLu(x)")
plt.plot(x, y)
plt.show()

ReLu函数的梯度

让我们来看一下 ReLu函数的梯度（导数）是多少。

f’(x) = 1, x≥0
= 0, x<0

我们可以看到，对于小于零的 x 值，梯度为0。这意味着某些神经元的权重和偏差没有更新。这可能是训练过程中的一个问题。

为了克服这个问题，我们有 Leaky ReLu 函数。接下来我们就来了解一下。

Leaky ReLu 函数

Leaky ReLu 函数是常规ReLu函数的即兴创作。为了解决负值的零梯度问题，Leaky ReLu 为负输入提供了极小的x线性分量。

在数学上，我们可以将 Leaky ReLu 表示为：

f(x)= 0.01x, x<0
= x, x>=0

数学上：

• f(x)=1 (x<0)
• (αx)+1 (x>=0)(x)

这里 a 是一个小常数，就像我们上面采用的 0.01 一样。

在图形上它可以显示为：

在 Python 中实现 Leaky ReLu 函数

Leaky ReLu 的实现如下：

def relu(x):
    if x < 0:
        return 0.01 * x
    else:
        return x

使用 Python 绘制 Leaky ReLu 函数

import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-10, 10, 51)
y = []
for i in x:
    p = relu(i)
    print(p)
    y.append(p)
plt.xlabel("x")
plt.ylabel("Leaky ReLu(x)")
plt.plot(x, y)
plt.show()

Leaky ReLu函数的梯度

让我们计算 Leaky ReLu 函数的梯度。梯度可以是:

f’(x) = 1, x>=0
= 0.01, x<0

在这种情况下，负输入的梯度是非零的。这意味着所有的神经元都将被更新。

Tanh 激活函数

tanh 也类似于 logistic sigmoid 但更好。tanh 函数的取值范围是（-1 到 1）。tanh 也是 S 形的（s 形）。

优点是负输入将映射为强负，零输入将映射到 tanh 图中的零附近。

函数是可微分的。

该函数是单调的，而其导数不是单调的。

Tanh激活函数的公式

我们可以用数学方式表示如下：

在 Python 中实现 Tanh 函数

我们将使用内置的 max 函数来实现它

def tanh(x):
	return math.tanh(x)

使用 Python 绘制 Tanh 函数

使用python绘制ReLu激活函数

import math
import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-math.pi, math.pi, 50)
y = []
for i in x:
    p = tanh(i)
    y.append(p)

plt.xlabel("x")
plt.ylabel("Tanh(x)")
plt.plot(x, y)
plt.show()