网络Backbone
文章平均质量分 83
Tianchao龙虾
这个作者很懒,什么都没留下…
展开
-
An Improved One millisecond Mobile Backbone 论文笔记
An Improved One millisecond Mobile Backbone 论文笔记原创 2022-07-12 22:51:19 · 672 阅读 · 0 评论 -
A ConvNet for the 2020s 论文笔记
A ConvNet for the 2020s论文链接: https://arxiv.org/abs/2201.03545一、 Problem Statement现在Transformer大行其道,很多纯卷积的网络也不断的革新。这篇文章分析transformer的优势,也借鉴了一些新的卷积网络的点,基于ResNet50和ResNet200逐步提升精度。二、 Direction作者认为,Transformer的优势在于其multi-head self-attention中优异的scaling beh原创 2022-01-17 23:22:26 · 5109 阅读 · 0 评论 -
RepVGG 论文笔记
RepVGG: Making VGG-style ConvNets Great Again RepVGG CVPR 2021论文链接: https://arxiv.org/abs/2101.03697一、 Problem Statement目前的网络结构普遍有以下缺点:复杂的分支结构: residual addtion, branch-concatenation等等,使得模型推理速度降低和减少内存的利用。增加了MAC: depthwise convolution, channel shuff原创 2021-10-26 15:06:24 · 225 阅读 · 0 评论 -
PP-LCNet 论文笔记
PP-LCNet: A Lightweight CPU Convolutional Neural Network PP-LCNet Baidu论文链接: https://arxiv.org/abs/2109.15099一、 Problem Statement大部分目前的轻量型网络都是基于ARM结构设备所开发的,很少网络会考虑到在Intel CPU上的运行速度。因此本文提出了三个问题:怎么样提升网络,使得可以学习更强的特征表示能力,且不增加迟滞性。什么东西可以在CPU上,使得一些轻量化模型的精原创 2021-10-25 09:31:05 · 979 阅读 · 1 评论 -
ResNeXt 论文笔记
Aggregated Residual Transformations for Deep Neural Networks ResNeXt 论文链接: https://arxiv.org/abs/1611.05431一、 Problem StatementInception模型提出了split-transform-merge的一个策略,但总体而言,如何使初始架构适应新的数据集/任务尚不清楚,特别是当有许多因素和超参数需要设计的时候。二、 Direction设计一个简单的结构,融合了VGG/ResN原创 2021-09-07 15:35:55 · 232 阅读 · 0 评论 -
Pyramid Vision Transformer 论文笔记
Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without ConvolutionsPVT论文链接: https://arxiv.org/abs/2102.12122一、 Problem Statement提出一个类似于CNN中的pyramid 结构,使得Transformer结构适用于多种dense prediction task。二、 Direction采用4x4大小的image patch作原创 2021-09-04 11:04:22 · 1406 阅读 · 0 评论 -
ResNet 论文笔记
Deep Residual Learning for Image RecognitionResNet论文链接: https://arxiv.org/abs/1512.03385一、 Problem Statement神经网络的深度很重要,但比较难训练。因此提出了一个问题: 学习更好的网络就像叠加更多层一样容易吗? 因为堆叠网络层会导致梯度的消失或者爆炸,导致在一开始就阻碍网络的收敛。这个问题很大程度可以由标准初始化和中间标准化层来解决,但是 学习退化(degradation) 的问题就出现了。 随着原创 2021-08-19 15:30:38 · 171 阅读 · 0 评论 -
VGG-Net 论文笔记
VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION VGG-net 论文链接: https://arxiv.org/abs/1409.1556v6一、 Problem Statement作者研究了网络的深度,与精度的关系。发现通过使用3x3卷积增加网络深度可以提升精度。二、 Direction增加网络深度。三、 Method两个3x3卷积层(在中间没有spatial pooling)堆叠在一起的感知域是5x5,原创 2021-08-18 14:38:53 · 146 阅读 · 0 评论 -
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 论文笔记
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design论文链接: https://arxiv.org/abs/1807.11164一、 Problem Statement作者认为在设计网络结构的时候光考虑FLOPs这个指标不够,还需要考虑MAC(memory access cost)和目标设备。相近的FLOPs可能会又不同的速度,在不同目标设备上不同的操作也有不同的速度。二、 Direction提出了下面原创 2021-07-19 22:32:19 · 231 阅读 · 1 评论 -
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 论文笔记
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices论文链接: https://arxiv.org/abs/1707.01083一、 Problem Statement提出一个适用于移动设备的backbone,shufflnet。二、 Direction提出了两个操作:pointwise group convolutionchannel shuffle三、 Method1.原创 2021-07-14 21:10:53 · 181 阅读 · 0 评论 -
Searching for MobileNetV3 论文笔记
Searching for MobileNetV3论文链接: https://arxiv.org/abs/1905.02244一、 Problem Statement提升MobileNet V2。二、 DirectionComplementary search techniques新的 nonlinearities 函数 h-swish重新设计网络层三、 Method1. 网络架构搜索一个是platform-aware NAS for Block-wise Search,另一个是Ne原创 2021-07-07 09:05:36 · 280 阅读 · 0 评论 -
MobileNetV2: Inverted Residuals and Linear Bottlenecks 论文笔记
MobileNetV2: Inverted Residuals and Linear Bottlenecks论文链接: https://arxiv.org/abs/1801.04381一、 Problem Statement主要提升MobileNet v1的性能。二、 Direction两个改进:Inverted ResidualsLinear Bottlenecks三、 Method1. Linear Bottlenecks文章提出了manifold of interest 两个性原创 2021-07-06 14:30:17 · 301 阅读 · 0 评论 -
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision 论文笔记
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision论文链接: https://arxiv.org/abs/1704.04861一、 Problem Statement专门用于移动设备或者嵌入式设备的Backbone。二、 Direction使用深度可分离卷积。引入两个全局超参数(width multiplier and resolution multiplier),用来调节延迟和精度的trade-off。三、原创 2021-06-29 11:55:27 · 336 阅读 · 0 评论 -
Res2Net: A New Multi-scale Backbone Architecture 论文笔记
Res2Net: A New Multi-scale Backbone Architecture论文链接: https://arxiv.org/abs/1904.01169 IEEE TPAMI 2021一、 Problem StatementMulti-scale ability对于网络来说是很重要的。目前大多数的backbone提高这个能力的方向是提高CNN中layer-wise multi-scale 表达的能力。作者提出了一个更好更有效率的提升办法。二、 Direction更强的multi原创 2021-05-08 08:10:32 · 354 阅读 · 0 评论 -
CSPNet: A NEW BACKBONE THAT CAN ENHANCE LEARNING CAPABILITY OF CNN 论文笔记
CSPNet: A NEW BACKBONE THAT CAN ENHANCE LEARNING CAPABILITY OF CNN论文链接: https://arxiv.org/pdf/1911.11929.pdf一、Problem Statement目标检测极大地依赖昂贵的计算资源,因此作者从网络结构方面提出了Cross Stage Partial Network, 去减少神经网络在推理时的计算。其问题归因于在神经网络优化过程中重复的梯度信息,因此所提出的网络通过融合神经网络开始到尾部的featu原创 2021-04-29 08:53:31 · 254 阅读 · 0 评论