神经网络与深度学习（二）

1.卷积神经网络基础

1.1 卷积神经网络基础

1.1.1 基本概念

       卷积神经网络（convolutional neural network，CNN）是一类强大的、为处理图像数据而设计的神经网络。 基于卷积神经网络架构的模型在计算机视觉领域中已经占主导地位，当今几乎所有的图像识别、目标检测或语义分割相关的学术竞赛和商业应用都以这种方法为基础。

常用基本概念：

        全连接网络：链接权过多，也很难收敛，同时可能会进入局部极小值，容易产生过拟合问题

        局部连接网络：只有一部分权值连接，只有部分输入和权值卷积

        特征提取：特征提取采用卷积的模式

        填充（Padding）：在矩阵边界填充一些值，用以增加矩阵的大小，通常用0 

        步长（Stride）:卷积核在原图上每一步移动的距离，如图步长为2。

        多通道卷积：如RGB

        池化（Pooling）:使用局部统计特征，如均值或最大值，解决特征过多的问题。

1.1.2 卷积神经网络构成

1.1.3 学习算法

1.2 LeNet-5网络

1.2.1 网络介绍

1.2.2 结构详解

网络结构：

 C1层：

6个Feature map构成
每个神经元对输入进行5*5卷积
每个神经元对应 5*5+1 个参数，共6个feature map， 28*28 个神经元，因此共有 (5*5+1)*6*(28*28)=122,304 连接

S2层（Pooling层）：

C3层（卷积层）：

S4层：与S2层工作相同。

C5层：

120个神经元
每个神经元同样对输入进行5*5卷积，与S4全连接
总连接数(5*5*16+1)*120=48120

F6层：

84个神经元
与C5全连接
总连接数(120+1)*84=10164

输出层：

由欧式径向基函数单元构成
每类一个单元
输出RBF单元计算输入向量和参数向量之间的欧式距离

 网络说明：

与现在网络的区别

-卷积时不进行填充（padding）

-池化层选用平均池化而非最大池化

-选用Sigmoid或tanh而非ReLU作为非线性环节激活函数 -层数较浅，参数数量小（约为6万）

1.2.3 误差反向传播

经典BP算法：

卷积NN的BP算法：

当前卷积层，下一层为下采样层，误差回传

当前下采样层，下一层为卷积层，误差回传

 1.2.4 网络结构可视化

可以一个网站进行网络结构的可视化

https://adamharley.com/nn_vis/cnn/3d.html

1.2.5 LeNet5代码实现

 

import torch
from torch import nn
from d2l import torch as d2l
 
class Reshape(torch.nn.Module):
    def forward(self, x):
        return x.view(-1, 1, 28, 28)
net = torch.nn.Sequential(
    Reshape(),
    nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),
    nn.AvgPool2d(kernel_size=2, stride=2),
    nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),
    nn.AvgPool2d(kernel_size=2, stride=2),
    nn.Flatten(),
    nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),
    nn.Linear(120, 84), nn.Sigmoid(),
    nn.Linear(84, 10))

nn. Sequential()：该函数可以将不同的模块组合成一个新的模块，将各模块按顺序输入即可。

nn.AvgPool2d(kernel_size, stride)或MaxPool2d：平均池化或最大池化层，输入参数分别为池化窗口大小和步长。二参数同时可以为整数，否则为元组类似的还有平均池化nn.AvgPool2d(kernel_size,stride)。

nn. Sigmoid()：该函数为上一层的输出添加sigmoid激活函数类似的还有nn.ReLU()， nn.Tanh()等。

nn. Conv2d(in_channels,out_channels,kernel_size)：卷积层，其三个参数按顺序代表输入通道数、输出通道数、卷积核大小若卷积核形状为正方形，则卷积核大小可以为int否则，卷积核大小必须为元组(tuple)。如： nn.Conv2d(1, 6, (5, 4))即代表卷积核大小为5× 4。

stride参数：可以规定卷积的步长，与卷积核大小类似，若各方向步长相同则可以为整数，否则应为元组。
padding参数：在图像的周围补充0的个数，常常用于控制卷积前后图像的尺寸大小。