生成式对抗网络基础——神经网络初步（一）激活函数

激活函数有很多种，目前常见的有sigmoid,Tash,ReLU,LeakyReLu等

具体代码实现如下：

零.准备操作

# 调用库及函数自变量定义
import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-5, 5)

一.sigmoid函数

主要作用是将该函数值压缩到0-1，如果是特别大的正数，输出1；如果是特别大的负数，输出0

y_sigmoid = 1/(1+np.exp(-x))
plt.plot(x, y_sigmoid)
plt.show()

二.Tash函数

该函数对比sigmoid来说，使得输出的均值为0

y_tanh = (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
plt.plot(x, y_tanh)
plt.show()

三.ReLU函数

y_relu = np.array([0 if item<0 else item for item in x ])
plt.plot(x, y_relu)
plt.show()

四.Leaky ReLU函数

0.3可以换成其他的常数，其目的就是使负半轴加上固有的斜率

y_leakyrelu = np.array([0.3*item if item<0 else item for item in x])
plt.plot(x, y_leakyrelu)
plt.show()