02.卷积神经网络入门

1.卷积神经网络

1.1 卷积神经网络基本架构 ：

  1.2 卷积的作用：

    卷积层涉及的参数：

   

步长（stride）：当步长较大的时候，走的比较粗糙，滑动比较大，但是步长太小的话，训练时间会长

卷积核尺寸(Filter)：卷积核越小，越细致的提取

                    一般来说，卷积核3*3，步长为1是比较常见的

边缘填充(pad)：一般外围填充为0，这样就不会对结果产生影响

卷积核个数：决定了得到特征图的个数，多少个卷积核就得到多少个特征图

卷积结果的长宽计算：

1.3 池化层

以最大池化为例：

     解释：它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。

     作用： 特征降维。减小计算量和参数个数，在一定程度上也控制了过拟合

     用法：通常来说，cnn的卷积层之间都会周期地插入池化层。当前最常用的形式的池化层是每隔2个元素从图像划分出2*2的区块，然后对每个区块中的4个数值取最大值

                                  

池化层（pool）的位置如下图所示：

其他的还有平均池化等  

1.4 感受野

定义：特征图上的一个点对应输入图上的区域

作用：为了保证所利用的信息是全局的，而不仅仅是局部信息，我们就应该保证感受野较大

例如，输入图像大小是128*128，如果最后一层的感受野已经可以超过128，我们可以认为在做最后的分类判断时所用到的特征已经涵盖了原始图像所有范围的信息了

2. 卷积的公式：

     卷积体现的是周围像素点对当前像素点的影响，也就是g函数：

                                            

         通过设置合适的卷积核也可以当作过滤器，来获取图像的某些特征。

3.经典网络架构

 3.1 Alexnet网络架构：

     Alexnet网络是由五个卷积层和三个全连接层构成，其中最后的输出被送到1000维的softmax函数。

    在卷积层的第一、第二和第五层使用了最大池化函数，并且在卷积层的第一和第二层使用了标准化 LRN函数。

    在全连接层的前两层使用了Dropout函数，来解决神经网络的过拟合问题。Relu激活函数应用在每个卷积层和全连接层。

3.2 VGG网络架构

    相对于Alexnet网络来看，Vgg网络具有更深的网络结构，一般为16层到19层，其中最后三层为全连接层。卷积时使用了多个小的卷积核堆叠起来，卷积核的大小都为33，步长为1，而且并不是在每个卷积后都跟有池化操作，整个网络包含有五个池化层，采用最大池化操作，池化核大小为22，步长为1。

                           

 ps.vgg的精度比alexnet更高，但是训练时间也更长

3.3 Resnet残差网络

    问题来源：理论上，随着层数增多，模型训练效果会越来越好。但是实际上，随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当你再增加网络深度的话，训练集loss反而会增大

    残差网络实际上就是一个增加映射的过程：

                                              

      如果一个VGG-100网络在第98层使用的是和VGG-16第14层一模一样的特征，那么VGG-100的效果应该会和VGG-16的效果相同。所以，我们可以在VGG-100的98层和14层之间添加一条直接映射（Identity Mapping）来达到此效果