从零开始实现 softmax 回归

导入包和模块

import torch
import numpy as np
import sys
sys.path.append("..")
import d2lzh_pytorch as d2l

print(torch.__version__)

获取和读取数据集
调用Fashion-MNIST数据集,利用多元感知机对图像进行分类

batch_size = 256  # 设置批量大小为256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

定义模型参数

# 设置输入神经元个数为784,输出神经元个数为10,隐藏神经元个数为256, 构建两个隐藏层
num_inputs, num_outputs, num_hiddens, num_hiddens2 = 784, 10, 256, 256
# 定义隐藏层权重参数和偏置参数
W1 = torch.tensor(np.random.normal(0, 0.01,(num_inputs, num_hiddens)),
                  dtype=torch.float)
b1 = torch.zeros(num_hiddens, dtype=torch.float)

W2 = torch.tensor(np.random.normal(0, 0.01,(num_hiddens, num_hiddens2)),
                  dtype=torch.float)
b2 = torch.zeros(num_hiddens2, dtype=torch.float)

# 定义输出层的权重参数和偏置参数
W3 = torch.tensor(np.random.normal(0, 0.01,(num_hiddens2, num_outputs)),
                  dtype=torch.float)
b3 = torch.zeros(num_outputs, dtype=torch.float)
# 追踪梯度运算
params = [W1, b1, W2, b2, W3, b3]
for param in params:
    param.requires_grad_(requires_grad=True)

定义激活函数
使用max函数来实现ReLU

def relu(X):
    return torch.max(input=X, other=torch.tensor(0.0))

定义模型
利用view函数将原始图像转化成长度为num_inputs的向量

def net(X):
    X = X.view((-1, num_inputs)) # 将原始图片转化为一维向量
    H = relu(torch.matmul(X, W1) + b1)
    H2 = relu(torch.matmul(H, W2) + b2)    
    return torch.matmul(H2, W3) + b3

定义损失函数
使用PyTorch中的softmax运算和交叉熵损失计算函数

loss = torch.nn.CrossEntropyLoss()

训练模型

num_epochs, lr = 5,100.0 # 迭代周期设为5,学习率设为100
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs,batch_size, params, lr)

在这里插入图片描述

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值