多层感知机（multilayer perceptron,MLP）

多层感知机（multilayer perceptron,MLP）

线性回归、softmax回归：单层神经网络

多层感知机中的隐藏层和输出层都是全连接层

多层感知机主要包括：输入层、隐藏层、输出层

1、激活函数

%matplotlib inline
import torch
import numpy as np
import matplotlib.pyplot as plt
import sys
sys.path.append("/home/kesci/input")
import d2lzh1981 as d2l
print(torch.__version__)


#relu激活函数
def xyplot(x_vals, y_vals, name):
    # d2l.set_figsize(figsize=(5, 2.5))
    plt.plot(x_vals.detach().numpy(), y_vals.detach().numpy())   #.detach()把数字后面的小数部分的0去掉
    print("x_vals",x_vals.detach().numpy())
    plt.xlabel('x')  #横轴
    plt.ylabel(name + '(x)')#竖轴
x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = x.relu()    #小于0的部分置0
print("y",y)
xyplot(x, y, 'relu')   #绘图
y.sum().backward()
###sigmoid激活函数
xyplot(x, x.grad, 'grad of relu')
y = x.sigmoid()
xyplot(x, y, 'sigmoid'