神经网络基础
激活函数:
1、Sigmoid函数
数学表达式为
代码实现:
import numpy as np
import matplotlib.pyplot as plt
def Sigmoid(x):
y = 1.0 / (1.0 + np.exp(-x))
return y
plot_x = np.linspace(-10,10,100)
plot_y = Sigmoid(plot_x)
plt.plot(plot_x,plot_y)
plt.show()
运行结果:
2、Tanh 函数
数学表达式:
代码实现:
def Tanh(x):
y = (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
return y
plot_x = np.linspace(-5,5,200)
plot_y = Tanh(plot_x)
plt.plot(plot_x,plot_y)
plt.show()
运行结果:
3、Relu函数
数学表达式:
代码实现:
def Relu(x):
y = np.maximum(0,x)
return y
plot_x = np.linspace(-5,5,200)
plot_y = Relu(plot_x)
plt.plot(plot_x,plot_y)
plt.show()
运行结果: