卷积神经网络（一）-LeNet-5

前言

        LeNet开启了卷积神经网络的第一枪，这一网络模型由Yann LeCun等人在1998年提出，被视为卷积神经网络的开山之作。

论文地址：

http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

如果打不开就看csdn：

https://download.csdn.net/download/p731heminyang/89515637

 

LeNet-5解析

我们通过解析lenet这个最简单的卷积网络来慢慢熟悉神经网络，经典图如下：

通过上面的图可以看到整个网络包含7层

我们如下分析每一层：

卷积计算公式：卷积池化尺寸计算公式_rgb卷积池化计算-CSDN博客

不熟悉的可以先看看卷积的公式，这样可以熟悉下输入和输出如何对应，如何通过输入输出来大体推算卷积核，由于lenet-5没有填充那么就更好分析了，具体如下。

卷积层：是为了获取特征，特征值复杂就需要多层特征提取，增加感受野

池化层：是为了减少计算量简化特征和防止过拟合

全连接层：是为了输出结果

lenet-5 目的主要用于识别数字的算法，所以后面输出层为10，对应10个数字（0~9）。

第一层（卷积层）：

输入参数：32x32  ，先针对图片进行处理，变成32x32的数组，再对其进行归一化处理，方便计算，这里通道为1，属于黑白图

输出参数：6x28x28 ，   经过卷积核的处理得到了此参数

卷积核：6x5x5 ，通过输出参数深度参数6，可以知道经过了6个卷积核的处理，这里的卷积步长都是为1，而且没有填充，按照公式就是 28=（32-N）/1 +1  推算出N=5

参数个数：156 ，卷积核为y=wx+b  ,参数等于权重w格式和b的个数,这里有6个wx+b,w为卷积核为5x5，b就是常数 1，所以参数个数为6x(5x5+1) = 156

第二层（池化层）：

输入参数：6x28x28  ，上一层的输出

输出参数：6x14x14, 从这里可以看出维数减半了，那么一般是常用的滤波器2x2，步长为2

滤波器：2x2，步长为：2   通过公式刚好：14 = (28 - N)/2 +1  这里N为2

参数个数：0，  池化层没有权重，一般是最大权重或者最小权重或者平均权重，正常的都是最大权重，选择最大值。

第三层（卷积层）：

输入参数：6x14x4，上一层的输出

输出参数：16x10x10, 这里有16个卷积核 

卷积核：16x5x5，步长为：1 ，10=（14-N）/1 +1  推算出N=5

参数个数：416， 16x(5x5 + 1)=416

第四层（池化层）：

输入参数：16x10x10，上一层的输出

输出参数：16x5x5, 从这里可以看出维数减半了，那么一般是常用的滤波器2x2，步长为2

滤波器：2x2，步长为：2   通过公式刚好：5 = (10 - N)/2 +1  这里N为2

参数个数：0，  池化层没有权重，一般是最大权重或者最小权重或者平均权重，正常的都是最大权重，选择最大值。

第五层（全连接层）：

输入参数：16x5x5，上一层的输出

输出参数：120，输出一维数组

参数个数：48,120，  由于是全连接层，所以每个点都得计算，输入点数：16x5x5 =400，由于全连接层转为1维，那么每个点都得配置权重，如y=wx+b  这里的x为（16x5x5），有120组wx+b，那么参数个数为：120x(16x5x5+1) = 48120

第六层（全连接层）：

输入参数：120

输出参数：84

参数个数：10,164，  有84组wx+b，x为120，所以为，84x(120+1)=10164

第七层（全连接层输出）：

输出为10，代表每个数字的概率，这里是越接近0概率越高，如果1的位置为0，那么这张图片识别为1

输入参数：84

输出参数：10

参数个数：850，  有10组wx+b，x为84，所以为，10x(84+1)=850

总结：

        CNN网络的开山之作，很简单的结构，总共就7层，整体的参数个数：59,706  参数接近6万，参数量相对于现在来说是已经很小了，由于之前受计算机性能和数据等影响，也没法发展太大的网络框架。但是此框架给我们开了一个头，而且由于他的简单方便我们学习。

        由于这里是识别数字或者字母，特征形状很简单，所以2个卷积层来获取特征就学习到了，学习边缘和形状，一般来说层数越多学习到的特征越多，比如说颜色纹理这些都可以学习到，但是也不是绝对，后续CNN网络发展可以看到当网络层数达到一定得程度效率和精确度、泛化就会到达峰值了，需要更换新的网络结构，比如残差连接、激活参数等。

        整个过程分为前向传播、计算损失（误差）、反向传播、更新参数

1.         前向传播：把数据输入网络框架，通过网络计算得到结果
2.         计算损失：通过损失函数计算真实结果和计算结果的误差值
3.         反向传播：和前向传播相反，从输出层开始，通过误差反向计算每个权重的梯度
4.         更新参数：根据反向传播得到的梯度调整网络参数，迭代进行以改善模型性能

        如果不是训练，只是推理的话，那么只要前向传播就行了。

代码：（基于pytyhon的pytorch）

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

class LeNet5(nn.Module):
    #初始化模型结构
    def __init__(self):
        super(LeNet5, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, kernel_size=5)#卷积层1
        self.conv2 = nn.Conv2d(6, 16, kernel_size=5)#卷积层3
        self.fc1   = nn.Linear(16*5*5, 120)#全连接层5
        self.fc2   = nn.Linear(120, 84)#全连接层6
        self.fc3   = nn.Linear(84, 10)#全连接层7
    #前向传播函数 
    def forward(self, x):
        x = F.relu(self.conv1(x))#卷积+激活，添加了激活函数，线条才会拐弯
        x = F.max_pool2d(x, (2, 2))#最大池化
        x = F.relu(self.conv2(x))
        x = F.max_pool2d(x, (2, 2))#最大池化
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# 初始化网络
model = LeNet5()

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss() #定义了交叉熵损失函数
optimizer = optim.SGD(model.parameters(), lr=0.001) #随机梯度下降（SGD）优化器 学习率为0.001，每次变化0.001

# 加载数据集，例如MNIST
transform = transforms.Compose([transforms.ToTensor(),
                                transforms.Normalize((0.5,), (0.5,))])
trainset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)

# 训练网络，训练10轮
for epoch in range(10):  # loop over the dataset multiple times
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data
        optimizer.zero_grad()
        
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()#反向传播修改权重
        optimizer.step()
        
        running_loss += loss.item()
    print(f'Epoch {epoch + 1}, Loss: {running_loss / (i + 1)}')

print('Finished Training')