skyfengye的博客

虽然现在Transformer 比较火，在分割上面也应用的比较多，但是我一直不喜欢用，其中一个原因是结构太复杂了，平时我主要用一个sel-attention 感觉都有点复杂了，如果用多头会更复杂。与这些方法不同，线性注意力将Softmax解耦为两个独立的函数，从而能够将注意力的计算顺序从(query·key)·value调整为query·(key·value)，使得总体的计算复杂度降低为线性。的计算往往会带来过高的计算量。针对这一问题，先前的工作通常通过减少参与自注意力计算的特征数量的方法来降低计算量。

最近在收集论文时发现一篇比较有趣的论文，当提到ConvNeXt时，大家应该都知道，比较这个网络跟Transformer 一较高低的网络，在前段时间transformer 很多的时候，涌现了许多将transformer和U-Net 相结合的网络，现在有人将ConvNeXt网络与U-Net 进行了组合，其实整个论文思路很简单。我在这里推荐这篇文章并不是说这篇文章结构多么精巧，设计多么新颖。我只是想说一篇论文成功发表的关键点不是你想法多么新颖，而是在你整篇论文写法。

大家有兴趣可以细看，我看到这篇文章发表于CVPR2022，看到这篇文章给我最大的感受并不是什么网络设计多么精巧，这篇文章主要是用了FPN 结构。给我最大的感受是，对一些常用的东西，我们只要认真弄，也是可以发好文章的。，文章以语义分割为主，整体结构简单明了。今天在看论文时注意到了这篇论文，

即学习一个函数 f(z, x) 来比较样本图像 z 和搜索图像 x 的相似性，如果两个图像相似度越高，则得分越高。为了找到在下一帧图像中目标的位置，可以通过测试所有目标可能出现的位置，将相似度最大的位置作为目标的预测位置。我在这里并不是要具体说明该方法的优点，我只是想到了一个很好的思路，那就是在语义分割中我们能不能使用这种类似的方法，去进行图像分割。这两天看到一篇挺有意思的论文，虽然不是语义分割方面的但是挺有意思的，因此在这里跟大家分享一下，这个也是一种语义分割的思路和方法。

现在由于深度学习有监督分割基本也搞到头了，各种新网络新结构层出不穷，人们把精力主要放到了半监督分割任务上了。半监督学习旨在通过结合少量标记数据和大量未标记数据来取得可喜的结果，因此关键步骤是为未标记数据设计有效的监督。因此，已经提出了许多方法来有效地利用未注释的图像。今天看到一篇毕竟好的论文，整个思路并不复杂，给人感觉，原来还可以这么弄呀。通过图片，我们可以发现，这是一个典型的UNet 神经网络，加了金字塔结构。其实网络可以弄的并不复杂。

现在随着标签数据成本的增加，现在无监督、半监督和弱监督，逐渐受到学术圈的研究。现在很多算法逐渐开始使用半监督的算法。这篇文章是一篇比较经典也是一种大家可以想到的简单的半监督分割算法。半监督语义分割算法的难点在于如何利用未标记的数据和如何训练未标记的数据。而这篇文章很好的解决了这个问题。在半监督中对于未标注的数据如何使用，每个人有不同的方法，在这篇文章中，作者使用了多视角的方法，对于同一个未标注的数据，使用多个网络进行相互的监督学习。这个思路很简单明了。论文精华就是上述这幅图，具体细节大家可以看一下论文。

大家看到个结构图有什么感觉，有些搞过目标检测的会说这是很传统的深度学习搞目标检测的结构呀。分成三个部分，然后在每个地方魔改一下结构。其实我想说的是，现在是2022年了，整个深度学习进入了一个瓶颈期了，魔改网络时期基本已经过去了。但是在看到这篇文章以后，我想说的是，文章能不能发出去，已经跟网络结构没什么关系了，主要还是故事讲的好了。希望像我这么普通的人一起努力，争取发好的文章。这篇文章属于目标检测方面的文章，跟我目前在弄的语义分割网络有一些差别。我为什么对这篇文章有感觉呢，大家看一下这篇文章整幅结构图。...

前段时间我看到了一篇讨论大卷积核的论文RepLKNet这个论文讨论了大卷积核的作用，今天我又在网上看到了一篇类似的论文。看到这个我突然想到，以前我们在卷积神经网络中一些比较常用的或者习惯的思维，有时候可以修改修改，也许也可以获得不一样的效果。具体的论文细节大家可以自己去看论文，但是看到上面的一个图，大家就应该明白是怎么回事了，作者把大的卷积核拆开来使用了。这篇文章讨论了更大的卷积核达到了51×51....

在看论文时，发现了一个比较好的论文，大家在语义分割上面可以借鉴一下的。这种结构利用了 MobileNet 在局部处理和 Transformer 在全局交互方面的优势。并且该bridge可以实现局部和全局特征的双向融合。 与最近在视觉Transformer上的工作不同，Mobile-Former 中的Transformer包含非常少的随机初始化的token（例如少于 6 个token），从而导致计算成本低。这种结构，我们可以沿用到语义分割神经网络中。...

最近我看到一篇关于超分辨率处理的论文，感觉这篇论文对于语义分割很有参考意义，所以在这里分享给大家，希望大家对对于分割方面有借鉴意义。对于超分辨率方法我个人不是很了解，在这里我就不细说，以免说错出丑。大家可以看一下上面提到的论文。这篇文章主要针对的是图像超分辨率领域部署难得问题，提出了一种轻量级得残差局部特征网络（RLFN)网络框架如上图所示，RLFN由三个简单得部分组成：首先是大小为3×3得卷积，用以提取浅层特征，包含丰富得边缘与细节信息得特征，然后是多个RLFB 模块进行深度特征提取，该部

现在语义分割领域，最热门的当属Transformer的应用了，你要是在网络中不添加，那么就显得你的创新点大大降低。但是现在语义分割领域Transformer的计算量太大了，导致应用的还比较少。这两天我看到一篇比较好的论文，也给我们提供了一种新的语义分割思路。这篇文章是TopFormer，其中作者使用了一些方法来降低模型运算复杂度：作者利用了CNN和ViT的优势。构建了一个基于CNN的模块，称为Token Pyramid Module，用于处理高分辨率图像，以快速生成局部特征金字塔。考虑到在移动设备上

随着近些年深度学习的发展，人们在选用卷积神经网络时通常都会默认卷积核为3×3 或者5×5的，感觉像已经是一个默认的公式一样了。正常来说大的卷积核不是可以获得更大的感受野对模型性能更好吗？怎么大家都不用呢。也许你会是这样模型复杂度高了呀，Flops 大了。那我们可不可用一种方法降低复杂度而使用大的卷积核呢。然后我看到了这篇论文。Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs .这篇文章讨论了大的卷积核的作用。

随着现在大家把transformer 的各种结构玩成花以后，后面也没有出什么比较经典的结构了。然后研究者们就开始挖掘以前的网络结构特点，加上各种技巧提高网络准确度。比如前段时间的ConvNeXt，各种叠技巧最后冲的很好准确度。现在又出来一个新的网络结构：Visual Attention Network。作者提出了一种新的Large Kernel Attention (LKA)模块，以使self-attention的自适应和长距离相关，同时避免了上述问题。与MobileNet相似，它将一个标准的卷积解耦为

最近在看论文时发现了一篇总结性的文章，推荐给大家最近一段时间transform 太火了，基本上大家都在用这些东西，传统CNN 用的反而少了起来，因此这篇论文提出了一些提高CNN 的方法，最后超过了大热的transform。这篇文章是ConVNet for the 2020.这是一篇总结性的论文。大概扫一扫你会发现好像没什么创新点，好像文章说的东西你都懂啊？是的，可以理解这次提出的ConvNeXt其实就是ResNet的魔改，类似于打比赛刷榜那样，一点点trick不断地加，并用非常solid的实验验证了这些

最近发现了一篇挺好的论文，虽然不是语义分割方面的论文，但是看完以后还是很有启发性的。论文名称：Masked Feature Prediction for Self-Supervised Visual Pre-Training 这是一种新的自监督学习算法，当然依然利用最近何大佬提出的mask-and-predict这样的思想来实现自监督学习预训练。其中最大的区别在于利用mask后的图像直接在特征空间中回归HOG特征实现网络训练。整体的算法结构图如下所示，整体思想非常简单。mask输入图像的部...

本文是普林斯顿大学的Jia Deng团队的最新力作ParNet：它凭借12层的深度网络在ImageNet上达到了80.7%的top-1精度 。所提ParNet以RepVGG的模块为出发点，同时提出了针对非深度网络设计的SSE模块构建了一种新型的模块RepVGG-SSE 。所提方案凭借非常浅的结构取得了非常高的性能，比如：ImageNet的80.7% ，CIFAR10的96%，CIFAR100的81%，MS-COCO的48%。此外，作者还分析了该结构的缩放规则并说明了如何不改变网络提升提升性能。最后，作者还提

这篇文章也是一个医学图像语义分割的模型，同样是基于U-Net，UCTransNet文章一开始分析了，U-Net 的各种形式，对于大家熟悉的跳连接进行了分析。发现由于编解码器阶段特征集不兼容，并不是每个跳跃连接设置都是有效的，甚至一些跳跃连接会对分割性能产生负面影响; 原有的U-Net在某些数据集上比没有跳过连接的U-Net更差。后来作者提出了一种新的模型结构，具体来说，CTrans(Channel Transformer))模块是U-Net skip connections的替代，其中一个子模块用.

看到了一篇比较有意思的论文Mobile-Former: Bridging MobileNet and Transformer。在论文中，作者提出了一个并行设计的双向连接MobileNet和Transformer的结构Mobile-Former。这种结构利用了MobileNet在局部信息处理和Transformer的在全局交互方面的优势，这样的连接可以实现局部和全局特征的双向融合。不同于现有的Vision Transformer，Mobile-Former中的Transformer包含很少的、随机初始化的t.

现在深度学习中transformer 模型已经得到了深度的应用，不同的计算机视觉任务中大家都开始使用transformer跟当初attention 机制刚刚提出来一样。今天看到一篇很有趣的文章。一个基于transformer 的图像融合算法。主要逻辑框架如下图：总体上看，这是一个编码解码的结构。这里我不是主要弄图像融合，我看到这个网络结构模型突然想到了，语义分割网络中是否可以使用该网络结构呢。其中主要是一个transformer 模块的加入。由机会，大家可以尝试一下。...

在看了这么多的注意力模型以后，我还以为现在注意力模块再也玩不出什么新的花样，知道我看了这篇文章EPSANet。看完以后，我眼界又开了，发现原来还可以这么玩。本文提出了一种新的高效金字塔注意力分割模块(Efficient Pyramid Split Attention, EPSA)，该模块可以有效地提取更细粒度的多尺度空间信息，同时可以建立更长距离的通道依赖关系。EPSA模块非常灵活和可扩展的，因此可以直接应用到各类计算机视觉网络架构中。 本文提出了一种新的骨干网络：EPSANet，它可以学习更丰富的多

最近这段时间MLP 网络，在深度学习浪潮里复辟了。出现了不同的版本的MLP 神经网络。现在在这介绍一种简单的MLP 网络结构。RepMLP论文。众所周知，全连接层能够高效地建模长距离依赖和位置模式，但不能很好地捕捉局部信息（擅长这件事情的是卷积）。因此作者在这里使用了MLP 网络进行特征的提取最近的一些关于Vision Transformer的工作表明了在大量数据下，抛弃CNN的局部先验是可行的。本文尝试将全连接层替换部分卷积层中，以提供全局表征能力和位置感知能力。并将引入卷积层，赋予全连接层其不.

最近看到一篇有意思的论文，在这里推荐给大家。BiSeNet已被证明是流行的实时分割two-stream网络。但是，由于添加额外空间信息路径以后使得网络的编码很耗时。因此我看到了这篇论文对于BiSeNet 进行修改Rethinking BiSeNet For Real-time Semantic Segmentation。这篇文章对于BiSeNet 进行了简化操作。下图是BiSeNet 网络结构图下图是 BiSeNet V2的网络结构模型。对比发现，V2减少可Context 路径，然后引入了.

在以往一提到注意力机制，大家想到的都是空间注意力，通道注意力和自注意力这三个大项目。如果效果不行再加一个SE 网络。基本都是这个套路，不管什么模型只要用到了注意力机制大概都是这几个注意力来回折腾。今天看文章看到了一个新的注意力方式，整个注意力的结构和方法还是比较新颖的，相比于传统的注意力机制，给大家提供了另一个思路，这也我们又可以愉快的灌水了。大部分注意力机制用于深度神经网络可以带来很好的性能提升，但这些注意力机制用于移动网络（模型比较小）会明显落后于大网络，这主要是因为大多数注意力机制带来的计算开销对

最近transformer网络真的非常火，尤其是在语义分割中，人们提出了各种各样的组合方法。我上一篇提到了一篇文章：TransUnet。这里另外一篇基于transformer的网络也出来了。比较出名，在这里推荐给大家。废话不多说直接上整个网络的结构框架这一篇文章相比于前面那篇，整个彻底的去掉了传统的CNN 网络结构。直接使用了transformer.这样做的目的是在不损失low-level细节的定位能力的情况下提高全局上下文建模效率的问题。众所周知，多次的卷积核池化操作很容易导致信息的丢失.

随着最近Transformers 的快速发展，开始有一种要统一视觉领域的感觉。现在transformers 终于向U-Net 下手了。TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation这个作者也公布了源码。感兴趣的人可以去关注一下。整个过程，就是上述图片。具体实现细节大家可以看一下论文。看了上面的感觉，其实这个感觉就是一个直接在Ｕ-Net,后面直接套用了transformer层。其实这个创新有

今天看到一篇文章结构很好的图片Inpainting 的文章，在这里推荐给大家。这是一个很经典的编码解码的方式，当然这种结构方式，也可以用在其他编码解码的问题上面。比如语义分割，其实我在研究了很多U-Net 网络之后发现在语义分割网络中，大家喜欢直接连接浅层和高层，或者在浅层和高层直接加上各种注意力。或者是对编码层加上各种注意力结构来提高网络的编码能力。我在这篇文章中看到了一个不同的连接方式。整个结构图如下。我们可以发现，在这篇文章中，作者对编码层的不同层之间进行了操作。这种方式在语义分割中很少见。感

今天看到一篇很新颖的文章，这篇文章主要是进行特征融合操作的。我们一开始我们在做多尺度的特征融合，大多都是直接将他们相加或者拼接起来。这些方法一般都是比较简单的操作。这里作者使用了注意力的方法进行了特征融合，在这里作者主要参考的是使用SENet网络的结构。这是因为SENet计算attention的方式就是把每个通道的像素值做一个平均之后，然后经过一系列操作后，用sigmoid函数归一化。这样的操作对于大尺度的目标还是有效果的，但是对于小目标效果就不太好，所以的话本文就提出了多尺度的方法来计算。其实我个人也

最近在学习一些分类网络，发现现在直接使用新的网络结构提高整个分类准确度已经很难了，现在人们提出了各种新型的训练思路。我发现这个知识蒸馏训练的思路真的很好。我看完以后发现可以做的事很多。知识蒸馏是利用从一个大型模型或模型集合中提取的知识来训练一个紧凑的神经网络。利用这些知识，我们可以在不严重影响紧凑模型性能的情况下，有效地训练小型紧凑模型。大、小模型我们称大模型或模型集合为繁琐模型或教师网络，而称小而紧凑的模型为学生网络。 一个简单的类比是，一个大脑小巧紧凑的学生为了考试而学习，他试图从老师那里.

最近在研究一些模型网络简化的问题，因此我看到了一篇挺有意思的论文。HS-ResNet: Hierarchical-Split Block on Convolutional Neural Network。这篇文章时对传统的卷积模块进行修改，去掉了冗余块特征信息。简化网络结构。但是并没有降低网络准确度。从这个准确度图中我们可以看到整个模型相比于各种 ResNet50的变体，准确度都时有提升。整篇文章的思路就是下面这幅图可以准确概括出来的。具体怎么操作，大家一眼就可以看出来。我在这里就步细说了。其

最近几年在一些顶会上面，出现了一些一些即插即用 网络模块，前一个是ghostNet 网络模块，最近又看到一些网络模块。Split to Be Slim: An Overlooked Redundancy in Vanilla Convolution 还有这篇文章。这篇文章也是提出了一种新的即插即用的网络。看这些即插即用的模块，一般都是分成两个部分的。然后再结合在一起。...

在2020 cvpr 上面我又看到一篇挺好的文章，这里分享给大家。这个文章是Improving Convolutional Networks with Self-Calibrated Convolutions。这是一个即插即用的一个模块，挺好的。这个模块主要是用来增大网络的感受野的。另外这个模块也可以不需要增加太多的参数就可以获得这个效果。整体还是比较有效的。整篇 论文 的核心大概就是这幅图了。它首先对于input 按照通道的方向分成了 x1和x2 两个特征。对于x1特征进了卷积操作。其中F1-F4

自注意网络，这个点，现在在NLP方面特别火，现在自注意力网络也有大量的应用在CV上面，尤其在结合CNN。那么这个self-attention和convolutionl layer之间到底有什么关系呢？是两个独立的模块还是两个可以转换关系。最近我看到了这篇论文。On the Relationship between Self-Attention and Convolutional Layers这个论文就是讲解了这个关系。我觉得论文挺好的，所以分享给大家。如果大家懒得看全文，只要看下面这一段就可以了。.