inception网络_TF2.0 ResNet【残差跳连】+ResNet块和Inception块设计思路分析+5种经典卷积神经网络小结+阶段小结...

最新推荐文章于 2024-01-28 14:33:27 发布

weixin_39636645

最新推荐文章于 2024-01-28 14:33:27 发布

阅读量889

点赞数 3

文章标签： inception网络 resnet keras 结构残差神经网络

本文深入剖析了InceptionNet和ResNet两大卷积神经网络的核心组成单元。Inception模块通过多尺度特征提取和1*1卷积降低计算量，而ResNet则引入残差连接解决了深度网络退化问题，允许网络更深。两者对比展示了不同的网络设计思路，为深度学习模型搭建提供了重要参考。

摘要由CSDN通过智能技术生成

引言： 因LeNet，AlexNet，VGG16就是卷积层的堆叠，这三个就是在激活函数，BN操作，Dropout操作，卷积核尺寸以及网络层数上不断改进，很好理解；而Inception和ResNet 有其独特的设计和组成单元 。本文按照设计背景和思路分析这两者的组成单元。【原文链接配全部经典CNN网络代码】

目录：

InceptionNet的核心组成——inception块
ResNet的核心组成——ResNet块
ResNet块和inception块对比
5种经典卷积神经网络小结
小结：神经网络搭建和CNN小结

1.InceptionNet——多路分支合并，同一层使用不同尺寸卷积核；引入BN

一.InceptionNet的亮点：

1.引入了BN操作，缓解梯度消失

2.同一层使用不同尺寸卷积核，形成四个分支，分支堆叠，提升模型感知力，使用了很多的1*1卷积核。(尺寸越小的卷积核，参数越少，计算量越小)

3. 上述所言构成了Inception块，是Inception的核心单元。

无论是GooLeNet,即Inception v1，还是Inception的后续版本，如v2,v3,v4，都是基于Inception结构块搭建的。

二. Inception块：

Inception 结构块在同一层网络中使用了多个尺寸的卷积核，可以提取不同特征。

ps：

1*1卷积核：作用到输入特征的每一个像素点，通过设定少于输入特征图深度的1*1卷积核个数减少了输出特征图的深度，起到了降维作用，减少了参数量和计算量【尺寸越小的卷积核，参数越少，计算量越小】

InceptionNet:

代码实现和实验结果见：

TF2.0-自作图+代码实现：LeNet，AlexNet，VggNet，Inception经典神经网络

2.ResNet ——层间残差跳连：使神经网络层数加深成为可能

前四种经典卷积神经网络模型的层数如下[只计算卷积层和全连接层]：

通过上一篇文章的实验结果对比，得出暂时性的结论：

5 → 8 →16/19 → 22：通过加深网络层数，取得了越来越好的效果

于是ResNet的大神作者：何凯明，其在cifar10上做了个实验，发现56层卷积网络的错误率要高于20层的错误率！

他认为，单纯靠卷积网络的堆叠，会造成神经网络的退化

以至于后面的特征丢失了前边特征的原本模样。

问题：神经网络的退化的原因就是随着网络的加深，特征就会被不断的CBAPD处理处理在处理，到了后边，原来特征本身就会被遗忘，那怎么解决这个问题？

何凯明提出了ResNet块：

这一操作有效缓解了神经网络模型堆叠导致的退化

使得神经网络可以向着更深层级发展

正如上图：我们看到x是输入特征图，经过了两层堆叠卷积层，得到非线性输出F(x)，我们要解决的问题是我们 还想要把x输入特征图带进来，也要影响到我们的输出H(x) ，这样就能考虑到之前的原始特征了。 那要执行什么操作？+ 加操作。ResNet块中的‘+’：两路特征图对应元素值相加(相当于两个矩阵对应元素值相加) 有两种情况：取决于这个堆叠卷积层有没有对输入特征图x进行缩放 ①输出结果H(x) = 堆叠卷积层输出F(x)+x (堆叠层输出的F(x)维度和输入特征图维度x一样) ②输出结果H(x) = 堆叠卷积层输出F(x)+W(x) (堆叠层输出的F(x)维度和输入特征图维度x不一样 )

基本组成有了，接下来使用ReNet块来搭建网络 ResNet:

和Inception的实现一样，基本模块被封装在一个class里 代码实现——ResNet块: 将这两种情况封装在一个class里

# 将两种ResNet块封装在一起:ResnetBlock类# 每调用一次ResnetBlock类，生成一个ResNet块#  根据   区别两种情况：#  ①如果是维度不同ResNet块: residual_path = 1，残差#  调用if里的代码，使用1*1的卷积操作，调整输入特征图inputs的尺寸或深度#   将堆叠卷积输出特征y和if语句算出的residual相加 过激活 输出#  ②如果是维度相同的ResNet块：直接将堆叠卷积层输出特征y和输入特征图inputs相加 过激活 输出import tensorflow as tfimport osimport numpy as npfrom matplotlib import pyplot as pltfrom tensorflow.keras.layers import Conv2D, BatchNormalization, Activation, MaxPool2D, Dropout, Flatten, Densefrom tensorflow.keras import Modelimport osos.environ['CUDA_VISIBLE_DEVICES'] = '0'config = tf.compat.v1.ConfigProto(allow_soft_placement=True)config.gpu_options.allow_growth = Truesess =tf.compat.v1.Session(config=config)class ResnetBlock(Model):    # 初始 residual_path 为False,默认满足情况②    def __init__(self,filters,strides=1,residual_path=False):        super(ResnetBlock,self).__init__()        self.filters = filters        self.strides = strides        self.residual_path = residual_path        #两层卷积,usebians带上b        self.c1 = Conv2D(filters,(3,3),strides=strides,padding='same',use_bias=False)        self.b1 = BatchNormalization()        self.a1 = Activation('relu')        self.c2 = Conv2D(filters,(3,3),strides =1,padding='same',use_bias=False)        self.b2 = BatchNormalization()        # residual_path 为True时，满足①        #对输入进行向下采样：使用1*1的卷积操作，调整输入特征图inputs的尺寸或深度        if residual_path:            self.down_c1 = Conv2D(filters,(1,1),strides = strides,padding='same',use_bias=False)            self.down_b1 = BatchNormalization()        # 激活        self.a2 = Activation('relu')    def call(self,inputs):        # residual等于输入值本身，即residual =x        residual = inputs        # 将输入通过卷积，BN，A，计算F(x)        x = self.c1(inputs)        x = self.b1(x)        x = self.a1(x)        x = self.c2(x)        y = self.b2(x)        if self.residual_path:            residual = self.down_c1(inputs)            residual = self.down_b1(residual)        # 输出是两部分的和，即F(x)+x 或 F(x)+W(x),，再过激活函数        out = self.a2(y+ residual)        return out

代码实现——ResNet网络:

class ResNet18(Model):    # block_list 表示每层Block有几个卷积层    def __init__(self,block_list,initial_filters = 64):        super(ResNet18,self).__init__()        self.num_blocks = len(block_list)        self.block_list = block_list        self.out_filters = initial_filters        # 第一层卷积        self.c1 = Conv2D(self.out_filters,(3,3),strides = 1,padding = 'same',use_bias=False)        self.b1 = BatchNormalization()        self.a1 = Activation('relu')        # 第一个橙色块：两条实线【维度相同】        # 第二,第三,第四个橙色块：一条虚线+一条实线        # 构建ResNet块        self.blocks = tf.keras.models.Sequential()        # 循环次数由 block_list个数决定 为[2,2,2,2]        for block_id in range(len(block_list)):# 第几个restnet block            for layer_id in range(block_list[block_id]):# 第几个卷积层                # block=生成一个橙色块                 # 对除第一个block以外的每个block的输入进行下采样                if block_id != 0 and layer_id ==0:                    # residual 为T 虚线【维度不同，需处理】                    block = ResnetBlock(self.out_filters,strides=2,residual_path =True)                else:                    # residual 为T 虚线【维度不同，需处理】                    block = ResnetBlock(self.out_filters,residual_path = False)                self.blocks.add(block)# 构建好的block加入restnet            self.out_filters *= 2 # 下一个block的卷积核是上一个block的2倍        self.p1 = tf.keras.layers.GlobalAveragePooling2D()        self.f1 = tf.keras.layers.Dense(10,activation='softmax', kernel_regularizer=tf.keras.regularizers.l2())    def call(self,inputs):        x = self.c1(inputs)        x = self.b1(x)        x = self.a1(x)        x = self.blocks(x)        x = self.p1(x)        y = self.f1(x)        return y

模型构成：