【无标题】

shufflenet

分组卷积

「左图普通卷积输入特征图个数为12,采用了6个卷积核对输入图像进行卷积,得到了6个输出的特征图;右图分组卷积输入特征图的个数也是12,但其将12个特征图分成了3组(红、绿、黄),每组有4个特征图,这时同样需要6个卷积核,但需要注意的是这6个卷积核也被分成3组,即两两一组。然后将每组的输入特征图和对应的两个卷积核进行卷积,这时每组都会产生2个特征图,一共也会有6个输出特征图。」【注意:虽然普通卷积核分组卷积都需要6个卷积核,但他们卷积核的通道数是不一样的,对本列来说,普通卷积的卷积核通道数为12,而分组卷积的卷积核通道数为4。】

所以,filters numbers和input channels都需要能被groups整除。

计算参数量和计算量的:

神经网络参数量、计算量(FLOPS)、内存访问量(AMC)计算详解)【注意:这里假设卷积核大小为K*k,输出特征图大小为H*W】

逐点分组卷积:逐点分组卷积就是将分组卷积核逐点卷积相结合,即表示卷积核大小为1*1的分组卷积。

通道重排(channel shuffle)

可以看到,不同组之间是没有任何联系的,即得到的特征图只和对应组别的输入有关系。论文中也有这样的描述,这种分组因不同组之间没有任何联系,学习到的特征会非常有限,也很容易导致信息丢失,因此论文提出了channel shuffle。

从绿框转变成黄色虚线框的过程即为channel shaffle通道重排过程,现将其分解出来,看看channel shaffle通道重排具体过程,如下图:

intra-channel partitioning

  • (b) 2-D grid partition:在2D网格划分中,将输入特征图按二维(通常是宽和高)分割成多个块,然后对每个块进行卷积操作。每个局部区域的特征被独立计算,类似于将整个特征图分成多个小块,每个小块单独做卷积。这种方法可以减少计算量或内存占用,适合分布式或并行计算场景。

  • (c) 1-D grid partition:在1D网格划分中,仅沿一个维度(例如高度或宽度)分割输入特征图,然后进行卷积操作。这可以看作是将特征图分成几行或几列的块,然后分别处理。相比2D划分,1D划分的计算量稍少,计算方式更简单,适合一些特定场景

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值