Pytorch_course1

neural Networks

Autograd实现了反向传播功能,但是直接用来写深度学习的代码在很多情况下还是稍显复杂,torch.nn是专门为神经网络设计的模块化接口。nn构建于 Autograd之上,可用来定义和运行神经网络。nn.Module是nn中最重要的类,可把它看成是一个网络的封装,包含网络各层定义以及forward方法,调用forward(input)方法,可返回前向传播的结果。下面就以最早的卷积神经网络:LeNet为例,来看看如何用nn.Module实现。LeNet的网络结构如图2-7所示。
在这里插入图片描述

这是一个基础的前向传播(feed-forward)网络: 接收输入,经过层层传递运算,得到输出。

定义网络

定义网络时,需要继承nn.Module, 并实现它的forward方法,把网络中具有可学习参数的层放在构造函数__init__中。如果某一层(如relu)不具有可学习的参数,则既可以放在构造华南虎中,也可以不放, 但不建议放在其中,而在forward中使用nn.functional代替

import torch
import torch.nn.functional as f

class leNet(torch.nn.Module):
    def __init__(self):
        # nn.Module子类的函数必须在构造函数中执行父类的构造函数
        # 下式等价于nn.Module.__init__(self)
        super(leNet, self).__init__()
        
        # 卷积层:'1'表示输入图片为单通道, '6'表示输出通道数,'5'表示卷积核为5*5
        self.conv1 = torch.nn.Conv2d(1, 6, 5)
        
        self.conv2 = torch.nn.Conv2d(6, 16, 5)
        
        # 全连接层 y = Wx + b
        self.fc1 = torch.nn.Linear(16*5*5, 120)
        self.fc2 = torch.nn.Linear(120, 84)
        self.fc3 = torch.nn.Linear(84, 10)
        
    def forward(self, x):
        # 卷积 -> 激活 -> 池化
        x = torch.nn.functional.max_pool2d(torch.nn.functional.relu(self.conv1(x)), (2,2))
        x = torch.nn.functional.max_pool2d(torch.nn.functional.relu(self.conv2(x)), 2)
        
        # reshape,‘-1’表示自适应
        x = x.view(x.size()[0], -1)
        x = torch.nn.functional.relu(self.fc1(x))
        x = torch.nn.functional.relu(self.fc2(x))
        x = self.fc3(x)
        return x
    
lenet = leNet()
print(lenet)
leNet(
  (conv1): Conv2d(1, 6, kernel_size=(5, 5), stride=(1, 1))
  (conv2): Conv2d(6, 16, kernel_size=(5, 5), stride=(1, 1))
  (fc1): Linear(in_features=400, out_features=120, bias=True)
  (fc2): Linear(in_features=120, out_features=84, bias=True)
  (fc3): Linear(in_features=84, out_features=10, bias=True)
)

只要在nn.Module的子类中定义了forward函数,backward函数就会自动被实现(利用autograd)。在forward 函数中可使用任何tensor支持的函数,还可以使用if、for循环、print、log等Python语法,写法和标准的Python写法一致。

网络的可学习参数通过net.parameters()返回,net.named_parameters可同时返回可学习的参数及名称。

parms = list(lenet.parameters())
print(len(parms))
10
for name, parameters in lenet.named_parameters():
    print(name,':',parameters.size())
conv1.weight : torch.Size([6, 1, 5, 5])
conv1.bias : torch.Size([6])
conv2.weight : torch.Size([16, 6, 5, 5])
conv2.bias : torch.Size([16])
fc1.weight : torch.Size([120, 400])
fc1.bias : torch.Size([120])
fc2.weight : torch.Size([84, 120])
fc2.bias : torch.Size([84])
fc3.weight : torch.Size([10, 84])
fc3.bias : torch.Size([10])

forward函数的输入和输出都是Tensor。

input = torch.randn(1, 1, 32, 32)
out = lenet(input)
out.size()
torch.Size([1, 10])
lenet.zero_grad() # 所有参数的梯度清零
out.backward(torch.ones(1, 10)) # 反向传播

需要注意的是,torch.nn只支持mini-batches,不支持一次只输入一个样本,即一次必须是一个batch。但如果只想输入一个样本,则用 input.unsqueeze(0)将batch_size设为1。例如 nn.Conv2d 输入必须是4维的,形如nSample ✖ nChannnels ✖ Height ✖ Width。可将nSample设为1,即1 ✖ nChannnels ✖ Height ✖ Width

损失函数

nn实现了神经网络中大多数的损失函数,例如nn.MSELoss用来计算均方误差,nn.CrossEntropyLoss用来计算交叉熵损失

output = lenet(input)
target = torch.arange(0, 10).view(1, 10).float()
criterion = torch.nn.MSELoss()
loss = criterion(output, target)
loss # loss是个scalar
tensor(28.7743, grad_fn=<MseLossBackward0>)

如果对loss进行反向传播溯源(使用gradfn属性),可看到它的计算图如下:

input -> conv2d -> relu -> maxpool2d -> conv2d -> relu -> maxpool2d  

  -> view -> linear -> relu -> linear -> relu -> linear   
  
  -> MSELoss  
  
  -> loss

当调用loss.backward()时,该图会动态生成并自动微分,也即会自动计算图中参数(Parameter)的导数。而且图中所有设置为requires_grad=True的张量将会拥有一个随着梯度累积的.grad张量
为了说明我们向后退几步:

print(loss.grad_fn)  # MSELoss
print(loss.grad_fn.next_functions[0][0])  # Linear
print(loss.grad_fn.next_functions[0][0].next_functions[0][0])  # ReLU
<MseLossBackward object at 0x7f632cbb0da0>
<AddmmBackward object at 0x7f632cbb0e48>
<AccumulateGrad object at 0x7f632cbb0da0>

反向传播

调用loss.backward()获得反向传播的误差。

但是在调用前需要清除已存在的梯度,否则梯度将被累加到已存在的梯度。

现在,我们将调用loss.backward(),并查看conv1层的偏差(bias)项在反向传播前后的梯度。

# 运行.backward,观察调用之前和调用之后的grad
lenet.zero_grad() # 把lenet中所有可学习参数的梯度清零
print('反向传播之前 conv1.bias的梯度')
print(lenet.conv1.bias.grad)


loss.backward()
print('反向传播之后 conv1.bias的梯度')
print(lenet.conv1.bias.grad)
反向传播之前 conv1.bias的梯度
tensor([0., 0., 0., 0., 0., 0.])
反向传播之后 conv1.bias的梯度
tensor([-0.0891, -0.0052, -0.0706,  0.0699,  0.1144, -0.1100])

优化器

在反向传播计算完所有参数的梯度后,还需要使用优化方法来更新网络的权重和参数,例如随机梯度下降法(SGD)的更新策略如下:

weight = weight - learning_rate * gradient

手动实现如下:

learning_rate = 0.01
for f in lenet.parameters():
    f.data.sub_(f.grad.data * learning_rate) # inplace减法

torch.optim中实现了深度学习中绝大多数的优化方法,例如RMSProp、Adam、SGD等,更便于使用,因此大多数时候并不需要手动写上述代码。

import torch.optim as optim
#新建一个优化器,指定要调整的参数和学习率
optimizer = torch.optim.SGD(lenet.parameters(), lr = 0.01)

# 在训练过程中
# 先梯度清零(与lenet.zero_grad()效果一样)

optimizer.zero_grad()

# 计算损失
output = lenet(input)
loss = criterion(output, target)

# 反向传播
loss.backward()

# 更新参数
optimizer.step()
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值