Sigmoid ,tanh,ReLU常用的非线性激励函数的代码实现——深度学习笔记 ~2018年11月22

 

三大激励函数

import numpy as np   import matplotlib.pyplot as plt   x = np.arange(-10, 10 , 0.1) #随机生成-10到10之间的数据，步长为0.1 y =1/ (1+np.exp(-x))            #函数 plt.figure(1)                          #图号 p1 = plt.subplot(211)          #绘图位置 p1.set_title('Sigmoid')          #标题名称 p1.axhline(0.5,ls='--', color='r') p1.axvline(ls='--', color='r') plt.plot(x, y)
import numpy as np   import matplotlib.pyplot as plt   x = np.arange(-5, 5 , 0.1) #随机生成-5到5之间的数据，步长为0.1 y =2/ (1+np.exp(-2*x)) -1        #函数 plt.figure(1)                          #图号 p2 = plt.subplot(211)                   #绘图位置 plt.plot(x, y) ax=plt.gca() ax.spines['left'].set_position(('data', 0)) p2.set_title('tanh')  p2.axhline(0,ls='--', color='r') plt.show()
import numpy as np   import matplotlib.pyplot as plt   x = np.arange(-10, 10 , 0.5)  #随机生成-5到5之间的数据，步长为1 y = np.maximum(0, x) plt.figure(1)                          #图号 p3 = plt.subplot(111)                   #绘图位置 plt.plot(x, y) ax=plt.gca() ax.spines['left'].set_position(('data', 0)) p3.set_title('relu') plt.show()

 

 

 

 

 

 

综合代码

import numpy as np import matplotlib.pyplot as plt def sigmoid(x):     return 1 / (1 + np.exp(-x)) def tanh(x):     return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x)) def relu(x):     return np.maximum(0, x) x = np.arange(-5, 5, 0.1) p1 = plt.subplot(311) y = tanh(x) p1.plot(x, y) p1.set_title('tanh') p1.axhline(ls='--', color='r') p1.axvline(ls='--', color='r') p2 = plt.subplot(312) y = sigmoid(x) p2.plot(x, y) p2.set_title('sigmoid') p2.axhline(0.5, ls='--', color='r') p2.axvline(ls='--', color='r') p3 = plt.subplot(313) y = relu(x) p3.plot(x, y) p3.set_title('relu') p3.axvline(ls='--', color='r') plt.subplots_adjust(hspace=1) plt.show()