深度学习-激活函数（sigmoid和ReLU）

深度学习-激活函数（sigmoid和ReLU）

'''
感知机和神经网络的区别就在于激活函数，感知机的激活函数为阶跃函数，神经网络激活函数多变。
（sigmoid，RELU等）
'''
#画出阶跃函数模型
import numpy as np
import matplotlib.pyplot as plt
def step_function(x):
    y=x>0

    return y.astype(np.int32)          #将布尔类型转为int

x=np.arange(-5,5,0.1)
y=step_function(x)
plt.plot(x,y)
plt.ylim(-0.1,1.1)               #设置y轴上下限
plt.show()


#sigmoid函数实现和画图
def sigmoid(x):
    return 1/(1+np.exp(-x))        #1/(1+exp(-x))  sigmoid函数
x=np.arange(-5,5,0.1)
y=sigmoid(x)
plt.plot(x,y)
plt.ylim(-0.1,1.1)
plt.show()

#RELU函数实现和画图，RELU函数在输入大于0时，直接输出该值，在输入小于等于0时输出0
def ReLU(x):
    return np.maximum(0,x)
x=np.arange(-5,5,0.1)
y=ReLU(x)
plt.plot(x,y)
plt.ylim(-0.1,1.1)
plt.show()

运行结果：

阶跃函数

sigmoid函数

ReLU函数