【动手学——激活函数】day03plus_激活函数及其求导

激活函数

本文介绍了ReLU、sigmoid、tanh三种常用激活函数及其导数，并用代码绘制了图像
重点应掌握sigmoid函数、tanh(x)函数的导数推导过程

ReLU

ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。给定元素 x ，该函数定义为ReLU(x)=max(x,0).

可以看出，ReLU函数只保留正数元素，并将负数元素清零。为了直观地观察这一非线性变换，我们先定义一个绘图函数xyplot。

%matplotlib inline
import torch
import numpy as np
import matplotlib.pyplot as plt
import sys
sys.path.append("/home/kesci/input")
import d2lzh1981 as d2l
print(torch.__version__)

def xyplot(x_vals, y_vals, name):
    d2l.set_figsize(figsize=(5, 2.5)) #设置图像大小
    plt.plot(x_vals.detach().numpy(), y_vals.detach().<