深度学习基础18(多层感知机代码实现)

多层感知机的从零开始实现

现在自己实现一个多层感知机。

为了与之前softmax回归 获得的结果进行比较, 将继续使用Fashion-MNIST图像分类数据集

import torch
from torch import nn
from d2l import torch as d2l
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

初始化模型参数

Fashion-MNIST中的每个图像由 28×28=784个灰度像素值组成,所有图像共分为10个类别。

忽略像素之间的空间结构, 我们可以将每个图像视为具有784个输入特征 和10个类的简单分类数据集。

首先,我们将实现一个具有单隐藏层的多层感知机, 它包含256个隐藏单元

注意,我们可以将这两个变量都视为超参数。

通常,我们选择2的若干次幂作为层的宽度因为内存在硬件中的分配和寻址方式,这么做往往可以在计算上更高效

我们用几个张量来表示我们的参数。

注意,对于每一层我们都要记录一个权重矩阵和一个偏置向量。 我们要为损失关于这些参数的梯度分配内存。

num_inputs, num_outputs, num_hiddens = 784, 10, 256 #num_inputs, num_outputs这两个参数都是由数据决定的,num_hiddens这个是隐藏层超参数

W1 = nn.Parameter(torch.randn(#nn.Parameter这个加不加都没关系,是声明是torch的一个parameter
    num_inputs, num_hiddens, requires_grad=True) * 0.01)#num_inputs, num_hiddens行数是784,列数是256
b1 = nn.Parameter(torch.zeros(num_hiddens
  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NDNPOMDFLR

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值