Sigmoid，ReLu，Tanh激活函数及其导数Python详解

---

 

import numpy as np
import matplotlib.pyplot as plt

inputs = np.arange(-10,10,0.1)
def sigmoid(x):
     return 1.0/(1+np.exp(-x))

sigmoid_outputs = sigmoid(inputs)

plt.subplot(321)
plt.plot(inputs,sigmoid_outputs)
plt.xlabel("Sigmoid_Inputs")
plt.ylabel("Sigmoid_Outputs")
#plt.show()

def sigmoid_deriv(x):
    return  (1.0/(1 + np.exp(-x))) * (1 - ( 1.0/(1+np.exp(-x))))
plt.subplot(322)
sigmoid_de_outputs=sigmoid_deriv(inputs)
plt.plot(inputs,sigmoid_de_outputs)
plt.xlabel("Sigmoid_de_Inputs")
plt.ylabel("Sigmoid_de_Outputs")



def ReLU(x):
    x2 = (np.abs(x) + x) / 2.0
    return x2

ReLU_outputs = ReLU(inputs)
plt.subplot(323)
plt.plot(inputs,ReLU_outputs)
plt.xlabel("ReLU_inputs")
plt.ylabel("ReLU_outputs")
#plt.show()

def ReLU_deriv(x):
    return np.where(x > 0, 1, 0)

ReLU_de_outputs = ReLU_deriv(inputs)
plt.subplot(324)
plt.plot(inputs,ReLU_de_outputs)
plt.xlabel("ReLU_de_inputs")
plt.ylabel("ReLU_de_outputs")


def Tanh(x):
    return (np.exp(x) - np.exp(-x))/(np.exp(-x) + np.exp(x))

Tanh_outputs =  Tanh(inputs)
plt.subplot(325)
plt.plot(inputs,Tanh_outputs)
plt.xlabel("Tanh_inputs")
plt.ylabel("Tanh_outputs")
#plt.show()

def Tanh_deriv(x):
    y = (np.exp(x) - np.exp(-x))/(np.exp(-x) + np.exp(x))
    return 1 - y * y

Tanh_de_outputs=Tanh_deriv(inputs)
plt.subplot(326)
plt.plot(inputs,Tanh_de_outputs)
plt.xlabel("Tanh_de_inputs")
plt.ylabel("Tanh_de_outputs")
plt.show()

 

Results:

---