手写数字识别的知识点

最新推荐文章于 2023-09-01 01:00:41 发布

为啥不能修改昵称啊

最新推荐文章于 2023-09-01 01:00:41 发布

阅读量535

点赞数

文章标签：深度学习 pytorch python

本文链接：https://blog.csdn.net/weixin_43845922/article/details/127344261

版权

手写数字识别的知识点

y.argmax(dim=1).eq(target).sum().item()

y.argmax(dim=1).eq(target).sum().item()

import torch
y = torch.tensor([[ -6.5656, -15.5677, -23.2004,   8.0210,   1.7548,   2.1824, -36.1009,
          32.8976,  10.2058,  25.4656],
        [ -5.0228, -13.9140,   0.7632,   2.6847,  20.0071,  -3.6169,  -8.0621,
          -9.9305,   6.1772,  11.2247],
        [  4.6966,   2.2409,  10.7776,  -8.2704,  -0.3698,  -2.4725,  50.4479,
         -29.5264,  -5.1698, -21.5632],
        [  9.8864, -26.8454,   4.5547,  -4.7190,  17.3001,   2.6430,   8.3405,
         -17.6379,  -0.1784,   5.8953]])
print("y.shape-->\t\t\t\t\t",y.shape)
print("y.argmax(dim=1)-->\t\t\t\t",y.argmax(dim=1))   #找出一行中最大的那个数的index,index从0开始
target = torch.tensor([7,1,6,4])
print("target-->\t\t\t\t\t",target)
print("y.argmax(dim=1).eq(target)-->\t\t\t",y.argmax(dim=1).eq(target))
print("y.argmax(dim=1).eq(target).sum()-->\t\t",y.argmax(dim=1).eq(target).sum())
print("y.argmax(dim=1).eq(target).sum().item()-->\t",y.argmax(dim=1).eq(target).sum().item())

在这里插入图片描述

item()的作用：

作用：取出单元素张量的元素值并返回该值，保持原元素类型不变。,即：原张量元素为整形，则返回整形，原张量元素为浮点型则返回浮点型

官方文档，一定要多去读官方文档!!!

参考博客

pytorch中的optimizer和optimizer.step

torch.optimizer.SGD(model1.parameters(), lr=0.01)
# 这意味着model1的参数将会使用1e-2的学习率.

optimizer.step()
#step()方法会更新所有的参数

参考博客

nn.Sequential

self.layer1 = nn.Sequential(
	nn.Conv2d(1,20,5),
    nn.ReLU(),
    nn.Conv2d(20,64,5),
    nn.ReLU()
)

# 或者可以使用如下方式,OrderedDict是有序字典的意思，本来字典只是键值对的对应，没有顺序的，这里OrderedDict里面的键值对是由先后顺序的
self.layer1 = nn.Sequential(OrderedDict([
                  ('conv1', nn.Conv2d(1,20,5)),
                  ('relu1', nn.ReLU()),
                  ('conv2', nn.Conv2d(20,64,5)),
                  ('relu2', nn.ReLU())
                ]))

model.train()和model.eval()

model.train()

model.train()的作用是启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()。model.train()是保证BN层能够用到每一批数据的均值和方差。对于Dropout，model.train()是随机取一部分网络连接来训练更新参数。

model.eval()

model.eval()的作用是不启用 Batch Normalization 和 Dropout。

如果模型中有BN层(Batch Normalization）和Dropout，在测试时添加model.eval()。model.eval()是保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。对于Dropout，model.eval()是利用到了所有网络连接，即不进行随机舍弃神经元。
训练完train样本后，生成的模型model要用来测试样本。在model(test)之前，需要加上model.eval()，否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。
在做one classification的时候，训练集和测试集的样本分布是不一样的，尤其需要注意这一点。

model.eval()和torch.no_grad()的区别
在PyTorch中进行validation/test时，会使用model.eval()切换到测试模式，在该模式下：

主要用于通知dropout层和BN层在train和validation/test模式间切换：
在train模式下，dropout网络层会按照设定的参数p设置保留激活单元的概率（保留概率=p); BN层会继续计算数据的mean和var等参数并更新。
在eval模式下，dropout层会让所有的激活单元都通过，而BN层会停止计算和更新mean和var，直接使用在训练阶段已经学出的mean和var值。
2. 该模式不会影响各层的gradient计算行为，即gradient计算和存储与training模式一样，只是不进行反向传播（back probagation)。

而with torch.no_grad()则主要是用于停止autograd模块的工作，以起到加速和节省显存的作用。它的作用是将该with语句包裹起来的部分停止梯度的更新，从而节省了GPU算力和显存，但是并不会影响dropout和BN层的行为。

如果不在意显存大小和计算时间的话，仅仅使用model.eval()已足够得到正确的validation/test的结果；而with torch.no_grad()则是更进一步加速和节省gpu空间（因为不用计算和存储梯度），从而可以更快计算，也可以跑更大的batch来测试。

参考博客