CNN

  区别于全连接的浅层网络，卷积网络称为CNN。LeNet-5论文提出卷积网络具有三大设计思想：局部感受野、权值共享、下采样。

1. 卷积

  卷积是CNN中的基本操作，这里介绍几种常用的卷积。下面的例子都是假设卷积层$layer$的输入通道是$C_{in}$，输出通道是$C_{out}$，卷积核尺寸是$w\times h$。以Pytorch为例，layer是这样的：

layer = torch.nn.Conv2d(in_channels=C_in, out_channels=C_out, kernel_size=(w, h), stride=1, bias=True)

1.1 常规卷积

  常规卷积是用$C_{out}$个维度为$(w,h,C_{in})$的立体卷积核卷积输入特征。卷积层layer的：

• 卷积核个数是：$C_{out}$。
• 每个卷积核的宽、高、通道是：$w$、$h$、$C_{in}$
• 一个卷积核的参数(包含偏置)是：$w\cdot h\cdot C_{in}+1$。
• 参数总数(包括偏置)是： $Params=C_{out}\cdot (w\cdot h\cdot C_{in}+1)$。

  下图是一个卷积核卷积的示意图。卷积核的通道数等于输入特征图的通道数；卷积核的个数等于输出特征图的通道数。

1.2 空洞卷积

  定义：卷积核内填充0的卷积。卷积核上相邻有效像素（不是填充的0）间的距离称为空洞率。下图是卷积核尺寸$kernel\_size=3$、空洞率$dilation=2$的空洞卷积。普通卷积是空洞率为1的空洞卷积。
  作用：无需改变特征图尺寸就可以提取不同尺度的特征。如下图，卷积核尺寸$kernel\_size=3$、空洞率$dilation=2$的空洞卷积相当于卷积核尺寸$kernel\_size=5$的常规卷积，它们的感受野尺寸都是$5\times 5$。
  空洞卷积的参数计算方式和常规卷积一样。

1.3 分组卷积

  分组卷积出自AlexNet，就是把输入特征按通道维度分组，不同的卷积核卷积不同的组。假设组数为G，则每组的输入通道数为$\frac{C_{in}}{G}$，每组的卷积核个数为$\frac{C_{out}}{G}$。如下图：

  上面的左图是常规卷积，每个卷积核卷积输入特征图的所有通道。右图是分组卷积，输入特征按通道维度分为$G$组，卷积核也分为$G$组，第 $i$ 组输入特征被第 $i$ 组卷积核卷积。参数总数(包括偏置)是： $Params=G\cdot \frac{C_{out}}{G}\cdot (w\cdot h\cdot \frac{C_{in}}{G}+1)$。如果不考虑偏置，分组卷积的参数是常规卷积的$\frac{1}{G}$。
  在Pytorch中，分组卷积使用参数$groups$指定组数：

torch.nn.Conv2d(..., groups)

1.4 点卷积

  点卷积就是卷积核大小为1的常规卷积，用于改变特征图的通道数。

torch.nn.Conv2d(..., kernel_size=1)

1.5 深度可分离卷积

  深度可分离卷积的目的是减少参数量，包括两步：1.分组卷积，组数$G=C_{in}$；2.点卷积：

1. 先用$C_{in}$个维度为$(w,h,1)$的平面卷积核卷积输入特征的$C_{in}$个通道(一个平面卷积核卷积一个通道)，得到维度为$(w^{\prime },h^{\prime },C_{in})$的特征图，如下图$(a)$。参数个数是：$C_{in}\cdot (w\cdot h\cdot 1+1)$。
2. 再用$C_{out}$个维度为$(1,1,C_{in})$的立体卷积核卷积第一步得到的特征图，如下图$(b)$。参数个数是：$C_{out}\cdot (1\cdot 1\cdot C_{in}+1)$。

  参数总数(包括偏置)是：$Params=C_{in}\cdot (w\cdot h\cdot 1+1)+C_{out}\times (1\cdot 1\cdot C_{in}+1)$。

1.6 空洞深度可分离卷积

  空洞深度可分离卷积和深度可分离卷积一样分为两步。不同的是空洞深度可分离卷积的第一步使用的是空洞卷积，如上图$(c)$。

2. 查看网络信息

  Pytorch有torchvision和torchsummary，tensorflow有tensorboard。利用这些工具可以查看网络信息。下面以pytorch的VGG-16为例，演示查看网络信息的方法。

2.1 查看网络定义

from torchvision import models

if __name__ == '__main__':
    net = models.vgg16()
    print(net)

2.2 查看特征图尺寸和参数量

import torch
from torchvision import models
from torchsummary import summary

if __name__ == '__main__':
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    net = models.vgg16().to(device)
    summary(net, (3, 224, 224))

2.3 查看参数名和参数值

  使用model.state_dict()或model.named_parameters()查看参数名和参数值：

from torchvision import models

if __name__ == '__main__':
    net = models.vgg16()
    for k, v in net.named_parameters():
        print(k)