卷积神经网络笔记（1.卷积层）

卷积神经网络基本概念

• 卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层（池化层）构成的特征抽取器。由此可知，普通的网络只有分类之类的作用，像svn等。
• 在CNN的一个卷积层中，通常包含若干个特征图(featureMap)，每个特征图由一些矩形排列的的神经元组成，同一特征图的神经元共享权值，这里共享的权值就是卷积核。
• 卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。
• 子采样也叫做池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。

基本单位——神经元

logistic回归模型

通过其数学公示，可以体现出神经元的特性，用这个模型仿真神经元

多个神经元联合就是神经网络

神经网络的训练方法也同Logistic类似，不过由于其多层性，还需要利用链式求导法则对隐含层的节点进行求导，即梯度下降+链式求导法则——反向传播

卷积层

前言

卷积层+激活函数+池化层+全连接层的结构实用，似乎已经成为搭建卷积神经网络的标配。

简介

卷积是一种有效提取图片特征的方法 。 一般用一个正方形卷积核，遍历图片上的每一个像素点。图片与卷积核重合区域内相对应的每一个像素值，乘卷积核内相对应点的权重，然后求和， 再加上偏置后，最后得到输出图片中的一个像素值。

三种情况

图片分灰度图和彩色图，卷积核可以是单个也可以是多个，因此卷积操作分三种情况

单通道输入，单卷积核

简介

单通道指的是输入为灰度图，单卷积核值卷积核个数是1个

5x5x1 的灰度图片，1 表示单通道，5x5 表示分辨率，共有 5 行 5列个灰度值。若用一个 3x3x1 的卷积核对此 5x5x1 的灰度图片进行卷积，偏置项b=1，则求卷积的计算是：(-1)x1+0x0+1x2+(-1)x5+0x4+1x2+(-1)x3+0x4+1x5+1=1（注意不要忘记加偏置 1）

多通道输入，单卷积核

简介

多数情况下，输入的图片是 RGB 三个颜色组成的彩色图，输入的图片包含了红、绿、蓝三层数据

• 卷积核的深度（通道数）应该等于输入图片的通道数，所以使用 3x3x3的卷积核，最后一个 3 表示匹配输入图像的 3 个通道，这样这个卷积核有三通道，每个通道都会随机生成 9 个待优化的参数，一共有 27 个待优化参数 w 和一个偏置 b。
  

• 这里还是单个卷积核的情况，但是一个卷积核可以有多个通道。默认情况下，卷积核的通道数等于输入图片的通道数

多通道输入，多卷积核

简介

多通道输入、多卷积核是深度神经网络中间最常见的形式。指的是多通道输入，且用多个卷积核的情况。

以3通道输入，2个卷积核为例：

• 先取出一个卷积核与3通道的输入进行卷积，这个过程就和多通道输入，单卷积核一样，得到一个1通道的输出output1。同样再取出第二个卷积核进行同样的操作，得到第二个输出output2
• 将相同size的output1与output2进行堆叠，就得到2通道的输出output。
  
• 图中输入X:[1,h,w,3]指的是：输入1张高h宽w的3通道图片。
• 卷积核W:[k,k,3,2]指的是：卷积核尺寸为3*3，通道数为3，个数为2。

总结

• 卷积操作后，输出的通道数=卷积核的个数
• 卷积核的个数和卷积核的通道数是不同的概念。
  每层卷积核的个数在设计网络时会给出，但是卷积核的通道数不一定会给出。
  默认情况下，卷积核的通道数=输入的通道数，因为这是进行卷积操作的必要条件。

填充（padding）

简介

为了使卷积操作后能得到满意的输出图片尺寸，经常会使用padding对输入进行填充操作。默认在图片周围填充0。

全零填充padding=‘same’

• 使用same时，会自动对原图进行全0填充，当步长为1时，可以保证输出的图片与输入的图片尺寸一致。
• 输出尺寸计算公式：输入长/步长 （向上取整）

TensorFlow中实现：（这里以卷积核个数：48，卷积核尺寸：3，步长：1，全填充为例）

layers.Conv2D(48, kernel_size=3, strides=1, padding='same')

不填充padding=‘valid’

• 使用valid时，不进行任何填充，直接进行卷积。
• 输出尺寸计算公式：（输入长-核长）/步长+1 （向下取整）
  TensorFlow中实现：

layers.Conv2D(48, kernel_size=3, strides=1, padding='valid')

自定义填充

一般是从上下左右四个方向进行填充，且左、右填充的列数$Pw$一般相同，上、下填充的行数$Ph$也应该相同。

输出尺寸计算公式

• 其中，h,w为原图的高和宽，k是卷积核的尺寸，s是步长。
• 在TensorFlow2.0中，自定义填充过程中，padding参数的设置格式为：
  padding=[ [0，0]，[上，下]，[左，右]，[0，0] ]

# 例如要在上下左右各填充一个单位，实现如下：
layers.Conv2D(48, kernel_size=3, strides=1, padding=[[0,0], [1,1], [1,1], [0,0]])