pytorch6_SOFTMAX简单实现

SOFTMAX简单实现

#我们仍然使用Fashion-MNIST数据集和上一节中设置的批量大小
import torch
from torch import nn
from torch.nn import init
import numpy as np
import sys
sys.path.append("../3.5 图像分类数据集(FASHION-MNIST)")  # 为了导⼊上层⽬录的d2lzh_pytorch
import d2lzh_pytorch as d2l

#3.7.1 获取和读取数据
batch_size=256
# 生成数据迭代器
train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size)

#3.7.2 定义和初始化模型
'''
在3.4节(softmax回归)中提到,softmax回归的输出层是⼀个全连接层,所以我们⽤⼀个线性模块就
可以了。因为前⾯我们数据返回的每个batch样本 x 的形状为(batch_size, 1, 28, 28), 所以我们要先
⽤ view() 将 x 的形状转换成(batch_size, 784)才送⼊全连接层'''
num_inputs=784
num_outputs=10
# 网络模型
class LinearNet(nn.Module):
    def __init__(self,num_inputs,num_outputs):
        super(LinearNet,self).__init__()
        # Linear全链接层
        self.linear=nn.Linear(num_inputs,num_outputs)
    
    def forward(self,x):    # x shape: (batch, 1, 28, 28)
        y=self.linear(x.view(x.shape[0],-1))
        return y
        
net=LinearNet(num_inputs,num_outputs)
#然后,我们使⽤均值为0、标准差为0.01的正态分布随机初始化模型的权᯿参数。
init.normal_(net.linear.weight,mean=0,std=0.01)
init.constant_(net.linear.bias,val=0)

#3.7.3 SOFTMAX和交叉熵损失函
'''
如果做了上⼀节的练习,那么你可能意识到了分开定义softmax运算和交叉熵损失函数可能会造成数值
不稳定。因此,PyTorch提供了⼀个包括softmax运算和交叉熵损失计算的函数。它的数值稳定性更
好'''
# 交叉商损失
loss=nn.CrossEntropyLoss()

#3.7.4 定义优化算法
#我们使⽤学习率为0.1的⼩批量随机梯度下降作为优化算法
# 优化算法
optimizer=torch.optim.SGD(net.parameters(),lr=0.1)

#3.7.5 训练模型
#接下来,我们使⽤上⼀节中定义的训练函数来训练模型。
num_epochs=5
d2l.train_ch3(net,train_iter,test_iter,loss,num_epochs,batch_size,None,None,optimizer)

# 下面将下评估函数
def evaluate_accuracy(data_iter, net):
	acc_sum, n = 0.0, 0
	for X, y in data_iter:
	  # 正确值累加结果
		acc_sum += (net(X).argmax(dim=1) == y).float().sum().item()
		n += y.shape[0]
	return acc_sum / n

# 下面介绍下训练函数
def train_ch3(net, train_iter, test_iter, 
              loss, num_epochs,batch_size,
						 params=None, lr=None, optimizer=None):
	for epoch in range(num_epochs):
		train_l_sum, train_acc_sum, n = 0.0, 0.0, 0
		for X, y in train_iter:
			y_hat = net(X)
			l = loss(y_hat, y).sum()
			# 梯度清零
			if optimizer is not None:
				optimizer.zero_grad()
			elif params is not None and params[0].grad is not None:
				for param in params:
					param.grad.data.zero_()
			l.backward()
			if optimizer is None:
				d2l.sgd(params, lr, batch_size)
			else:
				optimizer.step() # “softmax回归的简洁实现”⼀一节将⽤用到
			train_l_sum += l.item()
			train_acc_sum += (y_hat.argmax(dim=1) ==y).sum().item()
			n += y.shape[0]
	test_acc = evaluate_accuracy(test_iter, net)
	print('epoch %d, loss %.4f, train acc %.3f, test acc %.3f'% (epoch +1,train_l_sum / n, train_acc_sum / n,test_acc))
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值