CNN Network Structure4

置顶 于 2021-01-19 10:41:00 发布
阅读量110 收藏
点赞数
分类专栏： AI for CV
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36783816/article/details/112801371
版权

0 More Details: HomeLink

1 ShuffleNet-V1

1.1 Ideas: 1*1 Group Conv

在这里插入图片描述
在这里插入图片描述

  • 其实，想象一下，DConv 就是极端的GConv, 只不过是把Group分成了Channel份
    不难发现，每个Group并不能看大整个的Input Features，所以有了下面所谓的Channel Shuffle的概念

在这里插入图片描述在这里插入图片描述

  • 再次，比较显著的可视化一下
    在这里插入图片描述
  • 下面对比一下，围绕相同点和不同点
    在这里插入图片描述在这里插入图片描述

1.2 ShuffleNet framework

  • 看一下网络结构
    在这里插入图片描述

2 ShuffleNet-V2

2.1 Paper-ShuffleNet-V2:

在这里插入图片描述

2.2 Ideas: Time=T(FLOPS)+T(I/O)

  • 提出的四点思想很重要
    重要思想与解释如下
    G1.要想访问内存的花销最小，需要输入与输出的 尺寸一致，channel of blok I/O
    在这里插入图片描述

  • G2. 过度的GConv会增加花销
    在这里插入图片描述

  • G3. 网络的碎片化会降低并行性，即网络是尽可能的一条而不是一片…
    在这里插入图片描述

  • G4. Eltwise 操作的影响是不可忽视的，会带来很大花销
    在这里插入图片描述

2.3 Structure

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

2.4 Comparison

  • It skip connection is very much like DenseNet.
    The difference is it just map half the feature.
    ShuffleNet – V2 has better result.
    在这里插入图片描述

3 Summary

  • ShuffleNet – V2 > MobileNet – V2 > ShuffleNet > MobileNet > SqueezeNet

  • 1st Choice: ShuffleNet/MobileNet-V2
    2nd Choice: MobileNet

  • Here are some other papers worth reading:Xception / ResNeXt / MobileID …

graph builder
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Eye feature point detection based on single convolutional neural network
03-20
Feature point detection based on convolutional neural network (CNN) has been studied widely. The effective approaches for improving detection accuracy are building a deeper network or using a multi-...
CNN Network Structure1
qq_36783816的博客
01-18 256
前言: … 目录0 Introduction1 Net Framework1.1 Traditional Classic Network Frameworks1.1.1 LeNet-51.1.2 AlexNet1.1.3 ZFNet1.1.4 VggNet1.1.5 GoogLeNet1.1.6 ResNet-Link1.1.7 DenseNet1.2 Light Frameworks1.2.1 SqueezeNet1.2.2 MobileNet-V1-Link1.2.2 MobileNet-V2-Li.
CNN Network Structure3
qq_36783816的博客
01-19 115
前言: … 目录
ProteinSecondaryStructure-CNN阅读笔记
u013841458的博客
09-27 1903
Introduction 蛋白质是通过肽键连接在一起的氨基酸链。 由于氨基酸的许多可能组合和链沿着链的多个位置的旋转，这种链的许多构象是可能的。 正是这些构象变化导致蛋白质三维结构的差异。 蛋白质结构预测是生物信息学和理论化学追求的最重要目标之一; 它在医学（例如，药物设计）和生物技术（例如，设计新型酶）中非常重要。[1] 当我们谈论蛋白质的结构时，提到了四种不同的结构水平：初级，次级，...
机器学习系列11-卷积神经网络CNN part1
weixin_44406200的博客
02-18 5549
Convolutional Neural network(part 1) CNN常常被用在影像处理上 Why CNN for Image？ CNN V.s. DNN 我们当然可以用一般的neural network来做影像处理，不一定要用CNN，比如说，你想要做图像的分类，那你就去train一个neural network，它的input是一张图片，你就用里面的pixel来表示这张图片，也就是...
CNN各种结构作用简析
KAMITA的博客
08-28 6289
CNN 主要干了什么 CNN主要实现的就是特征提取，最经典的应用就是从多个图片中提取出有用的信息。这个过程对于人来说是个黑盒的过程，人们并不能很确切的知道里面发生了什么。结果也是非常抽象的，但是却能学习到很好的效果。 一个CNN的结构： 输入→卷积→ReLU→卷积→ReLU→池化→ReLU→卷积→ReLU→池化→全连接 CNN 的训练就是训练Filter的参数 3x3 5x5 的矩阵 每次...
恶魔：DeMoN：深度和运动网络
02-06
DeMoN：深度和运动网络 DeMoN是“一种用于从两个投影重建场景的计算机算法” 1 。 网络估计成对图像的深度和相对摄像机运动。 它从运动的角度解决了结构上重要的两种... title = "DeMoN: Depth and Motion Network f
基于多列深度3D卷积神经网络的手势识别.pdf
09-26
4. 多列深度3D CNN结构（Multi-Column Deep 3D CNN Structure） Application Scenarios： 1. 视频图像序列处理（Video Image Sequence Processing） 2. 手势识别（Hand Gesture Recognition） 3. 运动目标识别...
classify_dress_dl_fastaiv3_poc
03-06
标题 "classify_dress_dl_fastaiv3_poc" 暗示了这是一个关于使用深度学习（DL）分类衣物（dress）的项目，其中可能采用了Faster R-CNN（Faster Region-based Convolutional Neural Network）的变体，即Faster R-CNN ...
CSRNet网络用于高度拥挤场景
05-07
The proposed CSRNet is composed of two major components: a convolutional neural network (CNN) as the front-end for 2D feature extraction and a dilated CNN for the back-end, which uses dilated kernels...
Convolution Neural Network (CNN) 原理与实现
热门推荐
Rachel Zhang的专栏
05-15 10万+
本文结合Deep learning的一个应用，Convolution Neural Network 进行一些基本应用，参考Lecun的Document 0.1进行部分拓展，与结果展示（in python）。 分为以下几部分： 1. Convolution（卷积） 2. Pooling（降采样过程） 3. CNN结构 4. 跑实验 下面分别介绍
如何使用CNN进行物体识别和分类_物体识别网络
weixin_39629947的博客
11-20 800
物体识别物体识别主要包括物体的定位与分类。物体识别需要解决的主要问题是提高物体定位和分类的准确度，与此同时，需要提升整个过程的处理速度。最近发表的物体识别网络结构，如，R-CNN系列、R-FCN、YOLO、SSD等对此做出了很大的贡献，无论是准确性还是速度都得到了较大的提升。下面，对这些方法的主要思想以及网络结构进行简要介绍。====================================...
论文笔记：DualCNN（结构和细节分别训练）
兔角与禅
06-03 3625
论文笔记：Learning Dual Convolutional Neural Networks for Low-Level Vision 参考文献：Learning Dual Convolutional Neural Networks for Low-Level Vision Jinshan Pan1 Sifei Liu2 Deqing Sun2 Jiawei Zhang3 Yang Liu...
low level and hight level structure in CNN
Buyi_Shizi的博客
11-21 1310
什么是low-level和high-level特征为何卷积层越高就越能提取到high-level的特征
几种CNN网络结构及其资源使用
大张江的HC
10-24 9712
本文主要基于stanford课程CS231n-lecture7，对几种典型CNN网络结构（LeNet、AlexNet、ZFNet、VGGNet、ResNet）及其资源使用（主要针对参数个数、中间变量）进行统计与分析。
深度学习-浅谈CNNs
学习笔记
05-01 1万+
深度学习-浅谈CNNs
《机器学习》学习笔记（六）-- CNN（卷积神经网络）
DIAJEY的博客
08-15 1878
1.Why CNN? 当我们直接用一般的fully connected的feedforward network来做图像处理时，往往会需要太多的参数。 举个例子，假设是有一张100100的图片，如果将它拉成一个vector，再乘以3色域，input vector就已经有三万维了，又假设hidden layer有1000个neuron，那仅仅是第一层的hidden layer的参数就已经有300001000个了 因此，CNN做的事其实是，简化这个neural network的架构，根据自己的判断和对图像处理的理
PyTorch 修改权重/字典 Key
qq_36783816的博客
11-04 5831
想对wiograd后的训练添加预训练权重，因为修改卷积层kernel尺寸后，用了新的key名， 所以修改了一下． import torch import torch.nn as nn import torch.optim as optim from torch.optim.lr_scheduler import * import os import argparse from model.vggn...
KNN
qq_36783816的博客
01-13 2201
前言: … 目录1 1 KNN
"卷积神经网络CNN相关代码注释及示例：优化MNIST数据集训练及分类
It would be beneficial to include further comments or documentation to elucidate the purpose of each layer and the overall network structure. In conclusion, the code gives an overview of setting up ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值