import numpy as np
import matplotlib.pyplot as plt
inputs = np.arange(-10,10,0.1)
def sigmoid(x):
return 1.0/(1+np.exp(-x))
sigmoid_outputs = sigmoid(inputs)
plt.subplot(321)
plt.plot(inputs,sigmoid_outputs)
plt.xlabel("Sigmoid_Inputs")
plt.ylabel("Sigmoid_Outputs")
#plt.show()
def sigmoid_deriv(x):
return (1.0/(1 + np.exp(-x))) * (1 - ( 1.0/(1+np.exp(-x))))
plt.subplot(322)
sigmoid_de_outputs=sigmoid_deriv(inputs)
plt.plot(inputs,sigmoid_de_outputs)
plt.xlabel("Sigmoid_de_Inputs")
plt.ylabel("Sigmoid_de_Outputs")
def ReLU(x):
x2 = (np.abs(x) + x) / 2.0
return x2
ReLU_outputs = ReLU(inputs)
plt.subplot(323)
plt.plot(inputs,ReLU_outputs)
plt.xlabel("ReLU_inputs")
plt.ylabel("ReLU_outputs")
#plt.show()
def ReLU_deriv(x):
return np.where(x > 0, 1, 0)
ReLU_de_outputs = ReLU_deriv(inputs)
plt.subplot(324)
plt.plot(inputs,ReLU_de_outputs)
plt.xlabel("ReLU_de_inputs")
plt.ylabel("ReLU_de_outputs")
def Tanh(x):
return (np.exp(x) - np.exp(-x))/(np.exp(-x) + np.exp(x))
Tanh_outputs = Tanh(inputs)
plt.subplot(325)
plt.plot(inputs,Tanh_outputs)
plt.xlabel("Tanh_inputs")
plt.ylabel("Tanh_outputs")
#plt.show()
def Tanh_deriv(x):
y = (np.exp(x) - np.exp(-x))/(np.exp(-x) + np.exp(x))
return 1 - y * y
Tanh_de_outputs=Tanh_deriv(inputs)
plt.subplot(326)
plt.plot(inputs,Tanh_de_outputs)
plt.xlabel("Tanh_de_inputs")
plt.ylabel("Tanh_de_outputs")
plt.show()
Results: