多层感知机学习心得

定义

多层感知机在单层神经⽹络的基础上引⼊了⼀到多个隐藏层（hidden layer）。隐藏层位于输⼊层和输出层之间

线性变化

从联立的式子可以看出输入与输出之间仍旧是单层神经网络

我们通过引入一些激活函数来实现非线性变化

1.ReLU函数

此函数用于将负数置成零，正数不变
nn.ReLU(inplace=True)
inplace为True，将会改变输入的数据 ，否则不会改变原输入，只会产生新的输出
2.sigmoid函数

3. tanh函数

代码实现：

import torch
import numpy as np
import sys
import d2lzh_pytorch as d2l

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)  # 使用多层感知机对图像进行分类，依旧是从Fashion-MNIST数据集获取
num_inputs = 784
num_outputs = 10
num_hiddens = 256

W1 = torch.tensor(np.random.normal(0, 0.01, (num_inputs, num_hiddens)), dtype=torch.float)  #
b1 = torch.zeros(num_hiddens, dtype=torch.float)  # 1×num_hiddens
W2 = torch.tensor(np.random.normal(0, 0.01, (num_hiddens, num_outputs)), dtype=torch.float)
b2 = torch.zeros(num_outputs, dtype=torch.float)

# 设置要传入的参数
params = [W1, b1, W2, b2]  # 元素分别是四个矩阵

for param in params:
    param.requires_grad_(requires_grad=True)  # 我们将其各个参量的设置成可求导的


def net(X):
    X = X.view((-1, num_inputs))
    H = torch.Relu(torch.matmul(X, W1) + b1)
    return torch.matmul(H, W2) + b2
  # 之后何softmax就差不多了，主要区别就在于这里使用了Relu函数实现并且多加了一层

附：关于多层感知机原理的介绍[还有一些算法介绍]
(https://zhuanlan.zhihu.com/p/23937778)
知乎上一篇关于激活函数有趣的讲解激活函数