深度学习 | 激活函数公式及代码

阶跃函数：

import numpy as np
import matplotlib.pylab as plt
def step_function(x):
 return np.array(x > 0, dtype=np.int)#x>0返回布尔数组，dtypy转换为整型
x = np.arange(-5.0, 5.0, 0.1)
y = step_function(x)
plt.plot(x, y)
plt.ylim(-0.1, 1.1) # 指定y轴的范围
plt.show()

 

 

sigmoid函数：

（也称s函数、s型逻辑函数）

#一
scipy.special.expit()

#二
def sigmoid(x):
 return 1 / (1 + np.exp(-x))
x = np.array([-1.0, 1.0, 2.0])
sigmoid(x)
#绘制s
x = np.arange(-5.0, 5.0, 0.1)
y = sigmoid(x)
plt.plot(x, y)
plt.ylim(-0.1, 1.1) # 指定y轴的范围
plt.show()

 

 

 反向sigmoid函数:

scipy.special.logit()

ReLU函数

ReLU(Rectified Linear Unit）输入大于0时，直接输出该值；在输入小于等于0时，输出0

def relu(x):
 return np.maximum(0, x)