向量化编程手写实现数字识别和梯度检查(基于MNIST数据集)

本文介绍了如何使用向量化编程重新实现全连接神经网络,以提高数字识别的效率。通过对比,向量化编程在MNIST数据集上的速度比行向量计算快约7倍。作者强调了向量化编程在深度学习中的重要性,因为它能更好地利用底层库的优化,并且提供了代码仓库链接供读者参考。
摘要由CSDN通过智能技术生成

 向量化编程手写实现数字识别,由实验结果可知速度明显比上一篇博客的行向量计算实现数字识别的速度快7倍左右。

MNIST数据集自行baidu下载,解压后放到项目文件里

git详细代码仓库: https://github.com/justDoForever/deep_learning/digital_recognition_fc.py(python 2.7)

理论分析: https://www.zybuluo.com/hanbingtao/note/476663

在经历了漫长的训练之后,我们可能会想到,肯定有更好的办法!是的,程序员们,现在我们需要告别面向对象编程了,转而去使用另外一种更适合深度学习算法的编程方式:向量化编程。主要有两个原因:一个是我们事实上并不需要真的去定义Node、Connection这样的对象,直接把数学计算实现了就可以了;另一个原因,是底层算法库会针对向量运算做优化(甚至有专用的硬件,比如GPU),程序效率会提升很多。所以,在深度学习的世界里,我们总会想法设法的把计算表达为向量的形式。我相信优秀的程序员不

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,首先我们需要导入一些必要的库: ```python import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms ``` 然后我们需要定义我们的神经网络模型,这里我们使用一个简单的多层感知机(Multilayer Perceptron, MLP)模型: ```python class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(784, 512) self.fc2 = nn.Linear(512, 256) self.fc3 = nn.Linear(256, 10) def forward(self, x): x = x.view(-1, 784) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return F.log_softmax(x, dim=1) ``` 在上面的代码中,我们定义了一个包含三个全连接层的神经网络模型,它的输入是一个大小为784的向量(28x28的图片展开成一维向量),输出是一个大小为10的向量,表示图片对应的数字的概率分布。 接下来我们需要定义一些超参数,并且加载和预处理 MNIST 数据集: ```python batch_size = 64 test_batch_size = 1000 epochs = 10 lr = 0.01 momentum = 0.5 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") transform=transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset = datasets.MNIST('data', train=True, download=True, transform=transform) train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True) test_dataset = datasets.MNIST('data', train=False, transform=transform) test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=test_batch_size, shuffle=True) ``` 在上面的代码中,我们定义了一些超参数,包括每次训练和测试的 batch size、训练轮数、学习率和动量,以及使用的设备(如果有 CUDA 设备则使用 CUDA)。我们还定义了一个数据预处理的 Pipeline,将图片转换为张量并进行归一化。然后我们使用 `datasets.MNIST` 加载 MNIST 数据集,并使用 `torch.utils.data.DataLoader` 将数据集转换成一个可迭代的数据加载器,方便我们进行批量的训练和测试。 接下来我们定义损失函数和优化器: ```python model = Net().to(device) optimizer = optim.SGD(model.parameters(), lr=lr, momentum=momentum) criterion = nn.CrossEntropyLoss() ``` 在上面的代码中,我们使用 `Net()` 初始化我们的神经网络模型,并将模型移动到指定的设备上。我们使用 `optim.SGD` 定义了一个随机梯度下降优化器,使用 `nn.CrossEntropyLoss` 定义了交叉熵损失函数。 最后,我们使用训练集进行训练,并使用测试集进行测试: ```python for epoch in range(1, epochs + 1): # Train model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target = data.to(device), target.to(device) optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() if batch_idx % 100 == 0: print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format( epoch, batch_idx * len(data), len(train_loader.dataset), 100. * batch_idx / len(train_loader), loss.item())) # Test model.eval() test_loss = 0 correct = 0 with torch.no_grad(): for data, target in test_loader: data, target = data.to(device), target.to(device) output = model(data) test_loss += criterion(output, target).item() * data.size(0) pred = output.argmax(dim=1, keepdim=True) correct += pred.eq(target.view_as(pred)).sum().item() test_loss /= len(test_loader.dataset) print('Test set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\n'.format( test_loss, correct, len(test_loader.dataset), 100. * correct / len(test_loader.dataset))) ``` 在上面的代码中,我们首先进入训练模式,遍历训练集中的所有批次,并计算损失和梯度,然后使用优化器更新模型参数。我们还在每个训练轮次的前100个批次打印一次训练损失。 接着我们进入测试模式,遍历测试集中的所有批次,并计算损失和准确率。我们还将测试损失和准确率打印出来。 最后,我们训练模型并测试模型的准确率。如果你想要尝试更复杂的模型,可以自己修改模型的结构。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值