![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
DL # 网络结构基础
深度学习网络结构设计
Moeyinss
intp/智性恋/推理迷/感性的理性主义者
展开
-
ResNeSt网络结构概要解读
ResNeSt: Split-Attention Networksenables attention across feature-map groups,提出Split-Attention模块。背景知识基于Multi-path and Feature-map Attention。GoogleNet中提出Multi-path,其中每个网络块由不同的卷积内核组成。ResNeXt在中采用group convolution,具体见我的另一篇blog:ResNet系列及其变体(四)—ResNeXtSE原创 2020-06-15 17:56:39 · 5026 阅读 · 3 评论 -
SKNet网络结构概要解读
提到SKNet,自然会想到SENet,SENet见SENet网络结构概要解读Selective Kernel NetworksSKNet出发点:构建一种模型,使网络可以根据输入信息的多个尺度自适应的调节接受域大小Split.使用不同的卷积核对原图进行卷积。对输入向量X进行不同卷积核大小的完整卷积操作(包括efficient grouped/depthwise convolutions,Batch Normalization,ReLU function)。在本文,选取的3x3和5x5卷积,得到两个原创 2020-05-29 17:01:01 · 3656 阅读 · 0 评论 -
SENet网络结构概要解读
本篇只是介绍一个大概,细节之后再细看:Squeeze-and-Excitation NetworksSENet网络的创新点在于关注channel之间的关系,希望可以自动学习到不同channel特征的重要程度。SENet提出了Squeeze-and-Excitation (SE)模块,如下图所示:Squeeze.将H×W×CH\times W\times CH×W×C的feature map压缩为1×1×C1\times 1\times C1×1×C,一般是用global average pool原创 2020-05-29 15:16:48 · 2989 阅读 · 0 评论 -
ResNet系列及其变体目录
为了方便后续扩展,特此blog来整理目录信息:ResNet系列及其变体(一)—ResNetv1ResNet系列及其变体(二)—Wider ResNetResNet系列及其变体(三)—ResNetv2ResNet系列及其变体(四)—ResNeXtResNet系列及其变体(五)—DenseNetResNet系列及其变体(六)—DarkNet53ResNet系列及其变体(七)—Training and investigating ResidualNetsResNet系列及其变体(八)—Bag of原创 2020-05-29 10:58:03 · 2129 阅读 · 0 评论 -
ResNet系列及其变体(八)—Bag of Tricks
ResNet系列及其变体(一)—ResNetv1ResNet系列及其变体(二)—Wider ResNetResNet系列及其变体(三)—ResNetv2ResNet系列及其变体(四)—ResNeXtResNet系列及其变体(五)—DenseNetResNet系列及其变体(六)—DarkNet53ResNet系列及其变体(七)—Training and investigating ResidualNetsResNet系列及其变体(八)—Bag of TricksBag of Tricks f原创 2020-05-28 16:27:28 · 465 阅读 · 0 评论 -
ResNet系列及其变体(七)—Training and investigating Residual Nets
ResNet系列及其变体(一)—ResNetv1ResNet系列及其变体(二)—Wider ResNetResNet系列及其变体(三)—ResNetv2ResNet系列及其变体(四)—ResNeXtResNet系列及其变体(五)—DenseNetResNet系列及其变体(六)—DarkNet53ResNet系列及其变体(七)—Training and investigating ResidualNetsTraining and investigating Residual Nets来自t原创 2020-05-28 16:24:08 · 601 阅读 · 0 评论 -
ResNet系列及其变体(六)—DarkNet53
ResNet系列及其变体(一)—ResNetv1ResNet系列及其变体(二)—Wider ResNetResNet系列及其变体(三)—ResNetv2ResNet系列及其变体(四)—ResNeXtResNet系列及其变体(五)—DenseNetResNet系列及其变体(六)—DarkNet53DarkNet53YOLOv3: An Incremental ImprovementDarknet53是经典的一个深层网络,结合ResNet的特点在保证对特征进行超强表达的同时又避免了网络过深原创 2020-05-28 15:22:16 · 8569 阅读 · 2 评论 -
ResNet系列及其变体(五)—DenseNet
ResNet系列及其变体(一)—ResNetv1Resnet系列及其变体(二)—Wider ResNetResnet系列及其变体(三)—ResNetv2ResNet系列及其变体(四)—ResNeXtResNet系列及其变体(五)—DenseNetDenseNetDensely Connected Convolutional NetworksResidual networks behave like ensembles of relatively shallow networks指出在Re原创 2020-05-27 23:09:33 · 678 阅读 · 0 评论 -
ResNet系列及其变体(四)—ResNeXt
本篇主要介绍Resnet系列及其变体(一)ResNeXtAggregated Residual Transformations for Deep Neural Networks中心思想:Inception那边把ResNet拿来搞了Inception-ResNet,这头ResNet也把Inception拿来搞了一个ResNeXt,主要就是单路卷积变成多个支路的多路卷积,不过分组很多,结构一致,进行分组卷积。split-transform-merge是通用的神经网络的标准范式,基本的神经元符合原创 2020-05-27 22:37:56 · 1137 阅读 · 0 评论 -
Resnet系列及其变体(三)—ResNetv2
Resnet系列及其变体(一)ResNetv2ResNetv2Identity mappingIdentity Mappings in Deep Residual NetworksResNet-v2重新设计了一种残差网络基本单元(unit)就是将激活函数(先BN再ReLU)移到权值层之前,形成一种“预激活(pre-activation)”的方式,如(b),而不是常规的“后激活(post-activation)”方式,并且预激活的单元中的所有权值层的输入都是归一化的信号,如(a)。这使得网络更易原创 2020-05-27 20:49:42 · 1125 阅读 · 0 评论 -
Resnet系列及其变体(二)—Wider ResNet
本篇主要介绍Wider ResNet,其他Resnet系列及其变体介绍 见如下blog目录:ResNet系列及其变体(一)—ResNetv1Resnet系列及其变体(二)—Wider ResNetWider ResNetWide Residual Networks发现问题:实验结果表明越深的网络结构/模型带来的性能提升并不是很明显改进角度:Block宽度(维度)Wider ResNet提出,每一个Block中的卷积应该更宽。ResNet:BasicBlockResNet: Bott原创 2020-05-24 11:15:34 · 2115 阅读 · 0 评论 -
ResNet系列及其变体(一)—ResNetv1
–原创 2020-05-23 18:55:40 · 1949 阅读 · 0 评论