Convolution & DepthWise Conv

CNN中的卷积(Convolution)操作详解

CNN中的卷积层为了能适配NCHW这样的layout,将卷积的参数也设计成4维矩阵的形式,如下图所示(假设batch size = 1)

  • h,w分别为卷积核的大小,比如(5,5),(3,3)
  • 一个卷积核:定义为(1, C, h, w)这样的格式,C为输入特征图的通道数
  • 输入特征图经过一个卷积核后变成1*1*H/s*W/s,其中s为卷积的步长(stride)
  • 如果输出通道数为M,则会有M个这样的卷积核(绝大多数情况下这M个卷积核的参数或者说权重都不相同)
  • M个输出结果堆叠成1*M*H/s*W/s,形成输出特征图

分组卷积(Group Convolution)操作详解

  • 顾名思义,将输入特征图划分成g个组,每组大小为(1*C/g*H*W)
  • 每组经过M/g个  C/g * h * w的卷积核,形成(M/g * C *H/s * W/s)的分组输出
  • 将每个分组输出堆叠起来(总共有g个组),最终形成M*C*H/s*W/s的输出特征图

深度卷积(DepthWise Convolution)

  • 分组卷积中M = C,g=C,即可得到MobileNet中的深度卷积
  • 具体操作如下图所示:

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是TensorFlow中的深度卷积神经网络代码: ```python import tensorflow as tf # 输入图片的大小 input_shape = (224, 224, 3) # 定义深度卷积神经网络 model = tf.keras.models.Sequential([ # 第一个卷积层 tf.keras.layers.DepthwiseConv2D(kernel_size=(3, 3), strides=(1, 1), padding='same', input_shape=input_shape), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.Conv2D(filters=32, kernel_size=(1, 1), strides=(1, 1), padding='same'), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2, 2), padding='same'), # 第二个卷积层 tf.keras.layers.DepthwiseConv2D(kernel_size=(3, 3), strides=(1, 1), padding='same'), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.Conv2D(filters=64, kernel_size=(1, 1), strides=(1, 1), padding='same'), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2, 2), padding='same'), # 第三个卷积层 tf.keras.layers.DepthwiseConv2D(kernel_size=(3, 3), strides=(1, 1), padding='same'), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.Conv2D(filters=128, kernel_size=(1, 1), strides=(1, 1), padding='same'), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2, 2), padding='same'), # 第四个卷积层 tf.keras.layers.DepthwiseConv2D(kernel_size=(3, 3), strides=(1, 1), padding='same'), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.Conv2D(filters=256, kernel_size=(1, 1), strides=(1, 1), padding='same'), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2, 2), padding='same'), # 第五个卷积层 tf.keras.layers.DepthwiseConv2D(kernel_size=(3, 3), strides=(1, 1), padding='same'), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.Conv2D(filters=512, kernel_size=(1, 1), strides=(1, 1), padding='same'), tf.keras.layers.BatchNormalization(), tf.keras.layers.ReLU(), tf.keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2, 2), padding='same'), # 全局平均池化层 tf.keras.layers.GlobalAveragePooling2D(), # 全连接层 tf.keras.layers.Dense(units=1000, activation='softmax') ]) # 输出网络结构 model.summary() ``` 说明: - `DepthwiseConv2D`层:深度卷积层,只对每个输入通道进行卷积,不同通道之间不会产生影响,可以减少计算量和模型大小。 - `BatchNormalization`层:批量归一化层,用于加速收敛和提高模型的泛化能力。 - `ReLU`层:激活函数层,用于增强网络的非线性能力。 - `Conv2D`层:普通卷积层,用于在深度卷积层的基础上进行特征提取和特征组合。 - `MaxPooling2D`层:最大池化层,用于降低特征图的大小和模型的复杂度。 - `GlobalAveragePooling2D`层:全局平均池化层,用于将特征图转换为全连接层所需的一维向量。 - `Dense`层:全连接层,用于分类或回归任务。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值