卷积神经网络--LeNet的解释与实现

卷积神经网络–LeNet的解释与实现

根据《动手学习深度学习》中的卷积神经网络章节记录自己的学习笔记，下面是对LeNet的学习与理解，并用pytorch进行实践

LeNet代码理解

代码：

import torch
from torch import nn

net = nn.Sequential(
    nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
    nn.AvgPool2d(kernel_size=2, stride=2),
    nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
    nn.AvgPool2d(kernel_size=2, stride=2),
    nn.Flatten(),
    nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
    nn.Linear(120, 84), nn.Sigmoid(),
    nn.Linear(84, 10))

假设我们的输入是(1, 28, 28)的图片，框架示意图：来源于https://zh.d2l.ai/chapter_convolutional-neural-networks/lenet.html

代码理解

我们的输入是(1, 28, 28)的图片，下面开始进行每层的维度计算

1. 输入：[1, 1, 28, 28]
2. nn.Conv2d: 输出是6个channels，padding=(2,2)，kernel=(5, 5)，那么输出维度为[6, 28+22-5+1, 28+22-5+1] = [1, 6, 28, 28]
3. nn.Sigmoid: 不改变维度，输出为[1, 6, 28, 28]
4. nn.AvgPool2d: kernel=(2,2),stride=(2,2), 没有padding，那么输出为[6, (28-2)/2 + 1, (28-2)/2 + 1] = [1, 6, 14, 14]
5. nn.Conv2d: 输出是16个channels，kernel=(5,5), 那么输出为[16, 14-5+1, 14-5+1] = [1, 16, 10, 10]
6. nn.Sigmoid: 不改变维度，输出为[1, 16, 10, 10]
7. nn.AvgPool2d: kernel=(2,2),stride=(2,2), 没有padding, 那么输出为[16, (10-2)/2 + 1, (10-2)/2 + 1] = [1, 16, 5, 5]
8. nn.Flatten: [1, 1655] = [1, 400]
9. nn.Linear: [1, 120]
   10.nn.Sigmoid: 不改变维度，输出为[1, 120]
10. nn.Linear：[1, 84]
11. nn.Sigmoid: 不改变维度，输出为[1, 84]
12. nn.Linear：[1, 10]

总结卷积层里面维度计算的公式：
input: $(N,C,H_{in},W_{in})$
output: $(N,$