激活函数

# sigmoid函数
def sigmoid(x):
    return 1/(1+np.exp(-x))

# sigmoid函数的导数
def der_sigmoid(x):
    return sigmoid(x) * (1 - sigmoid(x))




#relu的函数
def relu(x):
    return np.maximum(0, x)

#定义一个激活函数的导数
def der_relu(x):
    return np.where(x > 0, x, 0)

#tanh函数
def tanh(x):  
    return np.tanh(x)  
#tanh函数的导数
def tanh_deriv(x):  
    return 1.0 - np.tanh(x) * np.tanh(x)

#leaky relu函数其中a=0.3
def LeakyRELU(z,a=0.3):  
    return np.array([x if x > 0 else a * x for x in z])
  
def LeakyRELU_deriv(z,a=0.3):  
    return np.array([1 if x > 0 else a for x in z])