Pytorch实现 卷积神经网络LeNet

1、LeNet简介
参考网址：https://www.jianshu.com/p/ce609f9b5910

LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。

2、Pytorch实现
深度学习的算法本质上是通过反向传播求导数，Pytorch的Autograd模块实现了此功能。torch.nn是专门为神经网络设计的模块化接口，nn构建于Autograd之上，nn.Module是nn中最重要的类。
1）定义网络
定义网络时，需要继承nn.Module，实现它的forward方法，把网络中具有可学习参数的层放在构造函数 _ _ init _ _中.只要在nn.Module的子类中定义了forword函数，backward函数会被自动实现。

import torch.nn as nn
import torch.nn.functional as F 
class Net(nn.Module):    
	def __init__(self):        
		# nn.Model 子类的函数必须在构造函数中执行父类的构造函数     
		# 下式等价于nn.Model.__init__(self)        
		super(Net,self).__init__()       
		# 卷积层‘1’表示输入图片为单通道， ‘6’表示输出通道数        
		# ‘5’表示卷积核为5*5        
		self.conv1 = nn.Conv2d(1,6,5)        
		#  卷积层        
		self.conv2 = nn.Conv2d(6,16,5)        
		# 仿射层/ 全连接层，y=Wx + b        
		self.fc1 = nn.Linear(16*5*5,120)        
		self.fc2 = nn.Linear(120,84)        
		self.fc3 = nn.Linear(84,10)            
	def forward(self,x):        
		# 卷积 -> 激活 -> 池化        
		x = F.max_pool2d(F.relu(self.conv1(x)),(2,2))       
		x = F.max_pool2d(F.relu(self.conv2(x)),2)        
		# reshape, '-1' 表示自适应        
	 	x = x.view(x.size()[0], -1)        
	 	x = F.relu(self.fc1(x))        
		x = F.relu(self.fc2(x))        
		x = self.fc3(x)        
		return x    
 net = Net()
 print(net)

2）定义损失函数和优化器
nn实现了神经网络中大多数的损失函数

output = net(input)  #调用网络函数 net（）
target = Variable(t.arange(0,10))
target = target.reshape(1,10)
target = target.float()  #为使target类型和output类型一致
criterion = nn.MSELoss()  #计算均方差
loss = criterion(output,target)

3）训练网络并更新网络参数
在反向传播计算完所有参数的梯度后，还需要使用优化方法更新网络的权重和参数。torch.optim中实现了深度学习中绝大多数的优化方法。

import torch.optim as optim
import numpy as np
# 新建一个优化器，指定要调整的参数和学习率
optimizer = optim.SGD(net.parameters(),lr=0.01)
# 在训练过程中
# 先梯度清零（与net.zero_grad()效果一样）
optimizer.zero_grad() 
# 计算损失output = net(input)
target = Variable(t.arange(0,10))
target = target.reshape(1,10)
target = target.float() 
criterion = nn.MSELoss()
loss = criterion(output,target)
# 反向传播
loss.backward()
# 更新参数
optimizer.step()