论文
文章平均质量分 78
向上的阿鹏
..
展开
-
ShuffleNet V1代码和总结
针对1x1卷积数目增多后,导致有较大计算量的问题,采用1x1分组卷积,然而1x1卷积本身就只考虑了通道信息,若直接使用分组卷积会导致部分通道信息被忽视的问题,因此,需要在1x1分组卷积的基础上加入通道混洗再输入3x3卷积中获得相应特征信息。代码:import torchimport torch.nn as nnclass Channel_Shuffle(nn.Module): def __init__(self,groups): super(Channel_Shuff原创 2022-04-27 09:47:52 · 786 阅读 · 0 评论 -
Mobile NetV2代码及总结
V1地址:https://blog.csdn.net/weixin_44543648/article/details/124417135MobileNet V2 创新性的提出了具有线性bottleneck 的Inverted 残差块。The Inverted residual:Residual:标准的残差块先用1X1卷积降低通道数,再用3X3卷积获取特征,最后用1X1卷积恢复通道(reduce-transfer-expand)。Inverted residual:为了降低计算量,引入深度可分离卷积原创 2022-04-26 11:38:31 · 1240 阅读 · 3 评论 -
MobileNet V1代码和总结
引入深度可分离卷积代替原有的常规卷积由于常规卷积会融合通道信息和空间信息,因此要代替常规卷积不仅要考虑轻量化还要考虑是否融合了通道信息和空间信息。深度可分离卷积由深度卷积和点卷积构成,其中,深度卷积只考虑空间的相关性,只进行空间信息的融合,点卷积只考虑通道相关性,只进行通道信息的融合。!](https://img-blog.csdnimg.cn/6a086be0b3cb4328823bed92e18eeea0.png?x-oss-process=image/watermark,type_d3F5LX原创 2022-04-25 23:29:42 · 1082 阅读 · 0 评论 -
SqueezeNext 代码和解析
SqueezeNext为Squeezenet的改进版本。Block:以Fire模块为基础进行改进。加入shortcut 连接。加入bottleneck module 和 Low Rank Filter改进如下:将 expand 层的3x3 卷积替换为1x3 + 3x1 卷积,同时移除了 expand 层的拼接 1x1 卷积、添加了1x1 卷积来恢复通道数。通过两阶段的 squeeze 得到更激进的通道缩减,每个阶段的squeeze 都将通道数减半。网络结构:代码:impor原创 2022-04-25 15:32:35 · 446 阅读 · 0 评论 -
Squeeze Net代码与解析
主要的三个策略:部分使用1x1卷积替换3x3卷积减少3x3卷积的输入通道数量。将网络下采样的时机推迟到网络后面,因为在其他情况不变下,尺寸大的特征图具有更高的分类准确度。主要Block为Fire Block:...原创 2022-04-25 11:16:05 · 618 阅读 · 0 评论 -
ResNet总结
参考链接:https://blog.csdn.net/qq_45649076/article/details/1204943281.梯度消失和梯度爆炸(BN层解决)梯度消失:若每一层的误差梯度小于1,反向传播时,网络越深,梯度越趋近于0梯度爆炸:若每一层的误差梯度大于1,反向传播时,网络越深,梯度越来越大2.退化问题(residual结构解决)随着层数的增加,预测效果反而越来越差。1.针对网络退化问题,采用Rresidual结构解决(隔层相连,弱化每层之间的强联系):下图左侧残差结构称为原创 2022-04-19 18:26:41 · 549 阅读 · 0 评论 -
附代码 MLP-Mixer: An all-MLP Architecture for Vision论文解读
MLP-Mixer: An all-MLP Architecture for Vision论文解读参考连接:https://blog.csdn.net/weixin_44855366/article/details/120796804摘要:在不使用卷积或自我注意情况下,我们提出了MLP-Mixer,一个专门基于多层感知器(MLPs)的架构。MLP-Mixer包含两种类型的层:一种是将MLPs独立应用于image patch(即“混合”位置特征),另一种是跨patch应用的MLPs(即“混合”空间信息)原创 2022-04-09 13:05:04 · 1754 阅读 · 0 评论 -
附代码 ConvNeXts:A ConvNet for the 2020s
A ConvNet for the 2020s 论文解读代码链接: https://github.com/facebookresearch/ConvNeXt参考链接:https://zhuanlan.zhihu.com/p/458016349摘要:卷积网络和Swin Transformer 的不同和相似:它们都具有相似的归纳偏差,但在训练过程和宏观/微观架构设计上存在显著差异。在这项工作中,我们研究了卷积网络和Transformer之间的架构区别,并试图在比较网络性能时识别混杂变量。我们的研究旨在弥原创 2022-03-20 12:44:18 · 5680 阅读 · 0 评论 -
附代码 DFNet :Learning a Discriminative Feature Network for Semantic Segmentation
Learning a Discriminative Feature Network for Semantic Segmentation论文解读代码链接:https://github.com/lxtGH/dfn_seg摘要:我们提出了一个判别特征网络(DFN),它包含两个子网络:平滑网络和边界网络。具体来说,为了处理类内不一致问题,我们特别设计了一个具有通道注意块和全局平均池的平滑网络来选择更明显的区分特征。此外,我们提出了一种边界网络解决不同类之间的问题,通过深度语义边界监督来区分边界的双边特征。提出原创 2022-02-21 16:13:08 · 2894 阅读 · 0 评论 -
附代码 SegNet
参考链接:https://blog.csdn.net/zhuzemin45/article/details/79709874代码链接:https://github.com/delta-onera/segnet_pytorch/blob/master/segnet.pySegNet和FCN,DeConv思路十分相似,只是Encoder,Decoder(Upsampling)使用的技术不一致。此外SegNet的编码器部分使用的是VGG16的前13层卷积网络,每个编码器层都对应一个解码器层,最终解码器的输出被原创 2022-02-18 12:25:42 · 2040 阅读 · 0 评论 -
附代码 ExFuse
ExFuse: Enhancing Feature Fusion for Semantic Segmentation论文解读代码链接:https://github.com/lxtGH/fuse_seg_pytorch参考链接:https://zhuanlan.zhihu.com/p/74551902摘要:在本文中,我们首先指出,由于在语义层次和空间分辨率上的差距,低级和高级特征的简单融合可能效果较差。我们发现,将语义信息引入低级特征,将高分辨率细节引入高级特征,对以后的融合更有效。基于此观察结果,我原创 2022-02-18 00:14:00 · 2092 阅读 · 0 评论 -
附代码 RefineNet
RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation 论文解读代码链接:https://github.com/markshih91/refinenet_pytorch摘要:RefineNet,一个通用的多路径细化网络,它明确地利用了下采样过程中所有可用的信息,以实现使用长序残差连接进行高分辨率预测。通过这种方式,捕获高级语义特征的更深层次可以直接使用早期卷积中的细粒度特征进行细化。Refi原创 2022-02-16 16:35:07 · 1516 阅读 · 1 评论 -
附代码 DeConvNet
代码连接:https://github.com/csgwon/pytorch-deconvnet/blob/master/models/vgg16_deconv.py主要内容:该论文主要使用UnPooling层使用原因:池化方法是为了通过提取具有单一代表性值的接受域中的激活来过滤下层的噪声激活。虽然它通过只保留上层的稳健激活来帮助分类,但在池化过程中,接受域内的空间信息会丢失,这对于语义分割所需的精确定位可能至关重要。为了解决这一问题,我们在反褶积网络中使用了UnPooling层,它执行池化的反向操作原创 2022-02-12 12:19:51 · 1006 阅读 · 0 评论 -
附代码 DenseASPP for Semantic Segmentation in Street Scenes论文解读
DenseASPP for Semantic Segmentation in Street Scenes论文解读代码地址:https://github.com/Tramac/awesome-semantic-segmentation-pytorch目录摘要:(对ASPP的进一步改进)主要内容:感受野计算方法:感受野大小对比:代码:摘要:(对ASPP的进一步改进)虽然ASPP能够生成多尺度特征,但我们认为在尺度轴上的特征分辨率对于自动驾驶场景还不够密集。为此,我们提出了密集连接的空间金字塔池(Dens原创 2022-02-10 17:10:29 · 5982 阅读 · 14 评论 -
附代码 Deeplab V3
Rethinking Atrous Convolution for Semantic Image Segmentation 论文解读参考链接:https://zhuanlan.zhihu.com/p/61208558https://blog.csdn.net/u010451780/article/details/109286262https://blog.csdn.net/qq_37541097/article/details/121797301?spm=1001.2014.3001.5502代码链原创 2022-02-08 23:53:08 · 1770 阅读 · 0 评论 -
附代码 Deeplab V2(附迁移学习代码)
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 论文解读V1链接:https://blog.csdn.net/weixin_44543648/article/details/122576853论文链接:https://arxiv.org/pdf/1606.00915.pdf代码链接:https://github.com/dont原创 2022-01-20 13:57:13 · 3768 阅读 · 0 评论 -
附代码 DeeplabV1:SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS
SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS论文解读论文地址:https://arxiv.org/pdf/1412.7062v3.pdf代码地址:https://github.com/wangleihitcs/DeepLab-V1-PyTorch主要内容:主要解决DCNN用于图像分割中存在的两个问题:下采样:最大池和下采样重复组合会导致的信号分辨率降低空间上的“不敏感性”(不变性原创 2022-01-19 11:30:52 · 2935 阅读 · 0 评论 -
附代码 Swin Transformer
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 论文解读参考链接:https://blog.csdn.net/qq_37541097/article/details/121119988?spm=1001.2014.3001.5501代码链接:https://github.com/microsoft/Swin-Transformer论文链接:https://arxiv.org/pdf/2103.14030.p原创 2021-12-29 20:57:24 · 2320 阅读 · 0 评论 -
附代码 ResNeXt
Aggregated Residual Transformations for Deep Neural Networks论文解读论文链接:https://github.com/prlz77/ResNeXt.pytorch摘要:VGG展示了一个简单而有效的策略来构建非常深的网络:堆叠相同尺寸的block,这一规则的简单性可以减少将超参数过度适应于特定数据集的风险。Inception module 证明了精心设计的拓扑能够在低理论复杂性的情况下实现令人信服的精度,他采取的策略是是分裂-转换-合并策略。在I原创 2021-12-27 15:45:26 · 529 阅读 · 0 评论 -
PSPNet: Pyramid Scene Parsing Network论文解读
Pyramid Scene Parsing Network论文解读代码链接:https://github.com/Lextal/pspnet-pytorch摘要:通过金字塔池模块和所提出的金字塔场景解析网络(PSPNet),利用基于不同区域的上下文聚合来开发全局上下文信息的能力。我们的全局先验表示可以有效地在场景解析任务上产生高质量的结果,而PSPNet则为像素级预测提供了一个优越的框架。我们提出了一个金字塔场景解析网络,将困难的场景上下文特征嵌入到一个基于FCN的像素预测框架中。提出了一种基于原创 2021-12-24 14:12:55 · 2457 阅读 · 0 评论 -
附代码:RepVGG: Making VGG-style ConvNets Great Again论文解读
RepVGG: Making VGG-style ConvNets Great Again论文解读代码链接:https://github.com/DingXiaoH/RepVGG重点:提出通过结构重新参数化来解耦训练时间的多分支和推理时间的纯体系结构摘要:我们提出了一个简单而强大的卷积神经网络结构,它具有一个类似VGG的推理时间体,只由3×3卷积和ReLU的堆栈组成,而训练时间模型具有多分支拓扑。这种训练时间和推理时间体系结构的解耦是通过结构重新参数化技术来实现的,从而使模型被命名为RepVGG。原创 2021-12-22 14:16:59 · 992 阅读 · 0 评论 -
附代码 ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks
ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks 论文解读摘要:本文提出了一种基于递归神经网络的用于图像识别的深度神经网络结构。所提出的网络被称为ReNet,用深度卷积神经网络中普遍存在的卷积+池化层替换为四个RNN,它们在图像的两个方向上水平和垂直扫描。网络结构:ReNet架构背后的基本思想是:四个RNN在不同的方向上扫描底层功能:(1)从下到上到下,(2)从上到下,(3)从左到右,(4)从原创 2021-12-18 19:27:26 · 1780 阅读 · 0 评论 -
附代码 DenseNet---Densely Connected Convolutional Networks
Densely Connected Convolutional Networks 论文解读代码链接:https://github.com/bamos/densenet.pytorch论文链接:https://arxiv.org/abs/1608.06993摘要:最近的研究表明,如果卷积网络包含靠近输入的层和接近输出的层之间的较短的连接,那么它们就可以更深入、更准确、更高效地进行训练。在本文中,我们接受了这一观察结果,并引入了密集卷积网络(DenseNet),它以前馈的方式将每一层连接到其他每一层。传原创 2021-12-17 20:04:33 · 328 阅读 · 0 评论 -
附代码 Rethinking BiSeNet For Real-time Semantic Segmentation论文解读
Rethinking BiSeNet For Real-time Semantic Segmentation论文解读代码链接:https://github.com/MichaelFan01/STDC-Seg摘要:BiSeNet已被证明是一种流行的实时分割的双流网络。然而,它添加一个额外的路径来编码空间信息的原则是耗时的,并且从预训练过的任务中借用的backbones,例如图像分类,由于任务特定设计的不足,可能对图像分割无效。为了解决这些问题,我们提出了一种新的、有效的结构,即短期密集连接网络(STDC原创 2021-12-16 15:53:58 · 470 阅读 · 0 评论 -
附代码 Spatial Transformer Networks(STN)
Spatial Transformer Networks(STN):显式将空间变换植入到网络当中,通过网络的方法实现网络的旋转、平移、尺度等不变性。原创 2021-12-12 16:13:28 · 2893 阅读 · 2 评论 -
附代码 ReXNet:重新考虑高效模型设计中的通道尺寸
Rethinking Channel Dimensions for Efficient Model Design论文解读一个轻量级模型的精度进一步受到了设计惯例的限制:通道维度的阶段配置,它看起来像一个网络阶段的分段线性函数。在本文的研究中,我们研究了一种有效的通道尺寸配置。为此,我们通过分析输出特征的秩,实证研究了如何正确设计单个层。然后,我们通过搜索在计算成本限制下有关信道配置的网络体系结构来研究模型的通道配置。原创 2021-12-11 15:34:01 · 2841 阅读 · 0 评论 -
一种对抗性攻击的方法AdvDrop
AdvDrop: Adversarial Attack to DNNs by Dropping Information论文解读代码参考:https://github.com/RjDuan/AdvDrop提出了一种新的对抗性的攻击,名为AdvDrop,它通过丢弃现有的图像信息来制作对抗性的例子。步骤:数学表达:D()为DCT函数,Qdiff()为量化函数,Di()为DCT的逆函数。步骤一构建block,将图片分为NxN的形式,减少计算成本:def block_splitting(image原创 2021-12-09 16:07:23 · 1322 阅读 · 0 评论 -
附代码 Vision Transformer(VIT)模型解读
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE该论文主要介绍了如何仅仅使用Trnsformers来进行图像分类。Transformers lack some of the inductive biases inherent to CNNs, such as translation equivariance and locality, and therefore do not generalize wel原创 2021-11-06 16:12:44 · 1300 阅读 · 0 评论 -
THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS论文笔记
lottery ticket hypothesis(彩票假说)The lottery ticket hypothesis predicts that ∃ m for which j0≤ j (commensurate training time), a0≥ a (commensurate accuracy), and kmk0? |θ| (fewer parameters).网络中一直存在一个比较小的子网络,当单独训练,并且尽可能多地去迭代训练后,可以达到原始网络的测试精度。获得中奖彩票网络的大致过程原创 2021-06-04 11:01:02 · 337 阅读 · 1 评论 -
提高训练效果的方法--Bag of Tricks for Image Classification with Convolutional Neural Networks 论文笔记
Bag of Tricks for Image Classification with Convolutional Neural NetworksAbstractMuch of the recent progress made in image classification research can be credited to training procedure refinements, such as changes in data augmentations and optimization m原创 2021-05-14 11:20:12 · 398 阅读 · 0 评论 -
RETHINKING THE VALUE OF NETWORK PRUNING 笔记:
RETHINKING THE VALUE OF NETWORK PRUNING 笔记:ABSTRACT:training a large, over-parameterized model is often not necessary to obtain an efficient final modellearned “important” weights of the large model are typically not useful for the small pruned modelt原创 2021-05-09 17:27:26 · 276 阅读 · 0 评论