手写数字识别的知识点
y.argmax(dim=1).eq(target).sum().item()
y.argmax(dim=1).eq(target).sum().item()
import torch
y = torch.tensor([[ -6.5656, -15.5677, -23.2004, 8.0210, 1.7548, 2.1824, -36.1009,
32.8976, 10.2058, 25.4656],
[ -5.0228, -13.9140, 0.7632, 2.6847, 20.0071, -3.6169, -8.0621,
-9.9305, 6.1772, 11.2247],
[ 4.6966, 2.2409, 10.7776, -8.2704, -0.3698, -2.4725, 50.4479,
-29.5264, -5.1698, -21.5632],
[ 9.8864, -26.8454, 4.5547, -4.7190, 17.3001, 2.6430, 8.3405,
-17.6379, -0.1784, 5.8953]])
print("y.shape-->\t\t\t\t\t",y.shape)
print("y.argmax(dim=1)-->\t\t\t\t",y.argmax(dim=1)) #找出一行中最大的那个数的index,index从0开始
target = torch.tensor([7,1,6,4])
print("target-->\t\t\t\t\t",target)
print("y.argmax(dim=1).eq(target)-->\t\t\t",y.argmax(dim=1).eq(target))
print("y.argmax(dim=1).eq(target).sum()-->\t\t",y.argmax(dim=1).eq(target).sum())
print("y.argmax(dim=1).eq(target).sum().item()-->\t",y.argmax(dim=1).eq(target).sum().item())
item()的作用:
作用:取出单元素张量的元素值并返回该值,保持原元素类型不变。,即:原张量元素为整形,则返回整形,原张量元素为浮点型则返回浮点型
pytorch中的optimizer和optimizer.step
torch.optimizer.SGD(model1.parameters(), lr=0.01)
# 这意味着model1的参数将会使用1e-2的学习率.
optimizer.step()
#step()方法会更新所有的参数
nn.Sequential
self.layer1 = nn.Sequential(
nn.Conv2d(1,20,5),
nn.ReLU(),
nn.Conv2d(20,64,5),
nn.ReLU()
)
# 或者可以使用如下方式,OrderedDict是有序字典的意思,本来字典只是键值对的对应,没有顺序的,这里OrderedDict里面的键值对是由先后顺序的
self.layer1 = nn.Sequential(OrderedDict([
('conv1', nn.Conv2d(1,20,5)),
('relu1', nn.ReLU()),
('conv2', nn.Conv2d(20,64,5)),
('relu2', nn.ReLU())
]))
model.train()和model.eval()
model.train()
model.train()的作用是启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization)和Dropout,需要在训练时添加model.train()。model.train()是保证BN层能够用到每一批数据的均值和方差。对于Dropout,model.train()是随机取一部分网络连接来训练更新参数。
model.eval()
model.eval()的作用是不启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization)和Dropout,在测试时添加model.eval()。model.eval()是保证BN层能够用全部训练数据的均值和方差,即测试过程中要保证BN层的均值和方差不变。对于Dropout,model.eval()是利用到了所有网络连接,即不进行随机舍弃神经元。
训练完train样本后,生成的模型model要用来测试样本。在model(test)之前,需要加上model.eval(),否则的话,有输入数据,即使不训练,它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。
在做one classification的时候,训练集和测试集的样本分布是不一样的,尤其需要注意这一点。
model.eval()和torch.no_grad()的区别
在PyTorch中进行validation/test时,会使用model.eval()切换到测试模式,在该模式下:
主要用于通知dropout层和BN层在train和validation/test模式间切换:
在train模式下,dropout网络层会按照设定的参数p设置保留激活单元的概率(保留概率=p); BN层会继续计算数据的mean和var等参数并更新。
在eval模式下,dropout层会让所有的激活单元都通过,而BN层会停止计算和更新mean和var,直接使用在训练阶段已经学出的mean和var值。
2. 该模式不会影响各层的gradient计算行为,即gradient计算和存储与training模式一样,只是不进行反向传播(back probagation)。
而with torch.no_grad()则主要是用于停止autograd模块的工作,以起到加速和节省显存的作用。它的作用是将该with语句包裹起来的部分停止梯度的更新,从而节省了GPU算力和显存,但是并不会影响dropout和BN层的行为。
如果不在意显存大小和计算时间的话,仅仅使用model.eval()已足够得到正确的validation/test的结果;而with torch.no_grad()则是更进一步加速和节省gpu空间(因为不用计算和存储梯度),从而可以更快计算,也可以跑更大的batch来测试。
python函数中指定参数类型以及参数注解
类型标注的使用
类型标注(Type annotations)是一种直接的方式,并且是类型文档中最常见到的那种方式。
声明一个函数参数的类型,只要在参数名称的后面加个":“号,带上类型名称就行了。声明函数的返回值类型,只要在函数声明结束之前,也就是”:“号之前加入一个”->",带上类型名称。
原文链接:https://blog.csdn.net/xjcoolice/article/details/108004133
参考博客
torch.nn 和torch
这两个是不同的pytorch包,所以一般都必须要导入两个
import torch
import torch.nn as nn