深度学习与图像识别:原理与实践 笔记Day_05

神经网络基础

激活函数：

1、Sigmoid函数

数学表达式为    

代码实现：

import numpy as np
import matplotlib.pyplot as plt

def Sigmoid(x):

    y = 1.0 / (1.0 + np.exp(-x))
    return y

plot_x = np.linspace(-10,10,100)
plot_y = Sigmoid(plot_x)
plt.plot(plot_x,plot_y)
plt.show()

运行结果：

2、Tanh 函数

数学表达式：

            

代码实现：

def Tanh(x):
    y = (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
    return y

plot_x = np.linspace(-5,5,200)
plot_y = Tanh(plot_x)
plt.plot(plot_x,plot_y)
plt.show()

运行结果：

3、Relu函数

数学表达式： 

 代码实现：

def Relu(x):
    y = np.maximum(0,x)
    return y
plot_x = np.linspace(-5,5,200)
plot_y = Relu(plot_x)
plt.plot(plot_x,plot_y)
plt.show()

运行结果：