Unet改进23：添加DiverseBranchBlock||通过组合不同规模和复杂度的分支来增强单个卷积的表示能力

于 2024-09-05 21:46:30 发布
阅读量107 收藏
点赞数 3
分类专栏： Unet改进专栏 文章标签： 深度学习 神经网络 机器学习 语义分割 unet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/141941461
版权

本文内容：在不同位置添加DiverseBranchBlock

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

论文简介

我们提出了一种通用的卷积神经网络(ConvNet)构建块，在不需要任何推理时间成本的情况下提高其性能。该块被命名为多元分支块(DBB)，通过组合不同规模和复杂度的分支来增强单个卷积的表示能力，从而丰富特征空间，包括卷积序列、多尺度卷积和平均池化。经过训练后，DBB可以等效地转换为单个转换层进行部署。与新颖的ConvNet体系结构的进步不同，DBB在保持宏观体系结构的同时使训练时间的微观结构复杂化，因此它可以用作任何体系结构的常规转换层的临时替代品。这样，可以训练模型达到更高的性能水平，然后将其转化为原始的推理时间结构进行推理。DBB在图像分类、目标检测和语义分割方面改进了ConvNets(在ImageNet上的前一准确率提高了1.9%)

1.步骤一

新建blocks/rep_block.py文件，添加如下代码：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AICurator
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
YoloV9改进策略：Block改进|将ConvNextV2与YoloV9激情碰撞|即插即用
m0_47867638的博客
06-04 367
这篇文章我们将YoloV8和ConvNextv2的Block相结合，将最强的CNN Block放入YoloV8中，会发生什么样的反应呢？我们一起尝试吧！首先，我们一起来阅读论文，然后再去学习ConvNextV2的Block。学会了Block以后，我们将Block加入到YoloV8的网络中，对比改进后的结果！最后，作总结。
YoloV9改进策略：主干网络篇|YoloV9与ConvNeXtV2的完美结合，性能显著提升的创新探索
m0_47867638的博客
08-09 1096
在深度学习领域，目标检测模型的性能优化一直是研究热点。近期，我们将最先进的ConvNeXtV2主干网络成功集成到YoloV9模型中，通过替换原有的主干结构为convnextv2_tiny模型，实现了显著的性能提升，这一创新实践不仅展现了ConvNeXtV2的强大潜力，也为YoloV9的性能优化开辟了新途径。ConvNeXtV2作为ConvNeXt系列的最新成员，通过引入全局响应归一化（GRN）层和全卷积掩码自编码器（FCMAE）框架，实现了对卷积神经网络（ConvNets）的全方位升级。
TIP2023| nnFormer：利用交织3D卷积和Transformer进行医学分割的新方案
qq_45807235的博客
03-15 4997
Transformer作为自然语言处理的首选模型，在医学影像界引起了很少的关注。考虑到利用长期依赖关系的能力，Transformer有望帮助非典型卷积神经网络克服其空间归纳偏差的固有缺点。nnFormer不仅利用**交织卷积和自注意**操作的结合，还引入了局部和全局基于体积的自注意机制来学习体积表示。此外，nnFormer提出在U-Net类架构中**使用跳跃注意**来代替传统的跳跃连接中的连接/求和操作
DEA-Net:基于细节增强卷积和内容引导注意力的单幅图像去雾
qq_44185614的博客
03-18 2685
单幅图像去雾是一个具有挑战性的不适定问题，它需要从观测到的模糊图像中估计出潜在的无雾图像。现有的一些基于深度学习的方法致力于通过增加卷积的深度或宽度来提高模型的性能。卷积神经网络(CNN)结构的学习能力尚未得到充分的研究。本文提出了一种由细节增强卷积(DEConv)和内容引导注意(CGA)组成的细节增强注意块(DEAB)来增强特征学习，从而提高去雾性能。具体来说，DEConv将先验信息整合到正卷积层中，增强了表示和泛化能力。
三万字硬核详解：卷积神经网络CNN（原理详解 + 项目实战 + 经验分享）
shinuone的博客
10-31 9406
深入解析卷积神经网络(CNN)的实际运用，全面整理并梳理了CNN的关键知识点。从基础概念到实战技巧，提供了详实的内容，助力读者深入理解并应用卷积神经网络于实际问题解决。
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
热门推荐
Philo的博客
02-26 1万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
[Transormer]MT-UNet：Mixed transformer UNet for medical image segmentation
qq_37151108的博客
12-17 3104
MTUNet:混合Transformer模型用于医学图像分割AbstractSection I IntroductionSection II MethodsPart 1 Overall Structure DesignPart 2 Mixed Transformer ModulePart 3 Local-Global Gaussian-Weight Self-AttentionPart 4 External AttentionSection III ExperimentsPart 1 Ablation St
LightM-UNet：Mamba轻量级UNet进行医学图像分割
winner_liuhuan的博客
08-12 897
UNet及其变体已成功地应用于医学图像分割中，并取得了较好的效果.然而，这些模型，尤其是基于Transformer架构的模型，由于其大量参数和计算负载而带来了挑战，使得它们不适合移动的健康应用。最近，以Mamba为代表的状态空间模型（SSM）已经成为CNN和Transformer架构的竞争性替代方案。在此基础上，我们在UNet中使用了Mamba作为CNN和Transformer的轻量级替代品，旨在解决真实的医疗环境中计算资源限制所带来的挑战。
DSNet：在语义分割中使用空洞卷积的新方法
AI公园
08-19 681
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”导读来自中科院，高效利用空洞卷积提升语义分割性能的新方法。摘要空洞卷积作为一种方法被用于增加语义分割任务中的感受野。然而，在先前的语义分割工作中，很少在模型的浅层中使用空洞卷积。我们重新审视了现代卷积神经网络 (CNN) 中空洞卷积的设计，并证明了使用大内核来应用空洞卷积的概念可能是一个更强大的范式。我们提出了三条指导原则来更高效地应用空洞...
通过跨域集成的鲁棒方法：多网络预测组合对抗性和非对抗性变化下更强大的结果
//crossdomain-ensembles.epfl.ch/摘要我们提出了一种方法，使神经网络预测的强大的训练数据分布的变化所提出的方法是基于通过一组不同的线索（称为“中间域”）进行预测该想法的前提是，通过不同线索进行的预测对...
学习记录——SegNetr、EGE-UNet、R2AU-Net、PHNet、CFNet
Chaoy6565的博客
08-02 863
GAB。
深度学习基础—池化
sniper_fandc的博客
08-30 632
最大池化的直观理解就是区域内最大值可能就是我们想要提取的重要特征，比如边缘检测，通常边缘附近是数值变化较大的地方，比如由亮变暗，像素值由大变小，如果过滤器覆盖了边缘，就会找到像素值大的特征值提取出来，从而保留重要的边缘信息，减少不是边缘的冗余信息。假设输入的图片是4*4的灰度图片（二维，只有一个通道），过滤器选择2*2，步长选择2，这样的效果就是将4*4的图片分为4块，因此结果是2*2的图像。由于卷积运算的重叠性，很多计算的特征是冗余的，而池化就可以将较大且特征较弱的图转化为较小且特征较强的图。
深度学习(二)
小泽爱刷题的博客
08-31 1221
CUDA是一种并行计算的编程模型，提供了开发者利用GPU的工具和接口，适用于各种需要并行处理的应用程序。CuDNN是一个专门的加速库，建立在CUDA的基础上，针对深度学习中的神经网络操作进行了专门的优化，从而大幅提升计算效率。两者的结合，使得深度学习和其他计算密集型任务在GPU上能够以更快的速度、更高的效率完成Dataset：继承Dataset可以让你自定义如何获取和处理数据。这在处理复杂的数据集时非常有用，例如当数据需要从多个文件加载、进行特殊的预处理或处理非标准格式的数据时。DataLoader。
【开发实战】QT5 + 深度学习六大应用案例
关注微信公众号【OpenCV学堂】
08-29 628
考虑到硬件普适性与高性价比，对于小于30MB的模型，OpenVINO + CPU的解决方案都会是比较合理跟高性价比的。现在OpenVINO2024最新版本还支持大模型+CPU的部署方案，只要几行代码即可完成。它们都支持Python与C++ SDK，支持多种模型压缩与量化机制，支持模型同步与异步推理。QT5 + OpenCV4.8 开发与配置环境搭建，请看博客文章。四 健身智能 - 自动引体向上计数。二 图像修复与自动水印移除。一 人像抠图 背景提取与替换。三 实时人脸识别应用。六 电子围栏语音报警。
Unet改进13：添加RepVGG||减少冗余计算和同时存储访问
m0_51530640的博客
08-31 437
我们提出了一种简单但功能强大的卷积神经网络结构，该结构具有类似vgg的推理时间主体，仅由3 × 3卷积和ReLU堆栈组成，而训练时间模型具有多分支拓扑结构。通过结构重参数化技术实现训练时间和推理时间结构的解耦，将模型命名为RepVGG。在ImageNet上，RepVGG达到了80%以上的top-1精度，据我们所知，这是第一次对一个普通模型。
小白学深度学习：知识蒸馏研究综述
gangyikeji的博客
08-30 1175
知识蒸馏是一种教师-学生(Teacher-Student)训练结构，通常是已训练好的教师模型提供知识，学生模型通过蒸馏训练来获取教师的知识。它可以以 轻微的性能损失为代价将复杂教师模型的知识迁移到简单的学生模型中。知识蒸馏与迁移学习思想较为相似，然而它们有以下四点的不同：知识蒸馏中的知识通常是在同一个目标数据集上进行迁移，而迁移学习中的知识往往是在不同目标的数据集上进行转移。知识蒸馏的两个网络可以是同构或者异构的，而迁移学习通常是在单个网络上利用其它领域的数据知识。
强化学习与深度学习的结合
最新发布
N201871643的博客
09-01 572
强化学习与深度学习的结合目录。
深度学习_数据读取到model模型存储
weixin_42504788的博客
08-31 827
深度学习_数据读取到model模型存储
全卷积网络与UNET谁计算复杂度高
05-24
在计算复杂度方面，全卷积网络（FCN）和UNet有一些区别。 FCN是由卷积层和反卷积层组成的全卷积神经网络，用于图像分割任务。FCN的计算复杂度与输入图像的大小和网络的深度有关，具体而言，它的计算复杂度可以表示为O(kn^2L)，其中k是卷积核的大小，n是输入图像的大小，L是网络的层数。因此，FCN的计算复杂度较高，尤其是在较深的网络中。 UNet是一种用于图像分割的卷积神经网络，它具有编码器和解码器两个部分。在编码器中，图像被不断下采样以提取特征，而在解码器中，图像被上采样以恢复分辨率。UNet的计算复杂度主要取决于网络的深度和特征图的大小，可以表示为O(n^2L)，其中n是特征图的大小，L是网络的层数。因此，相对于FCN，UNet的计算复杂度较低。 综上所述，FCN的计算复杂度比UNet高。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值