Unet改进50：在不同位置添加InceptionDWConv2d|保持大感受野的同时，显著提升了模型的计算效率

于 2024-10-01 10:22:10 发布
阅读量2 收藏
点赞数
分类专栏： Unet改进专栏 文章标签： 深度学习 神经网络 机器学习 unet 语义分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/142668082
版权

本文内容：在不同位置添加InceptionDWConv2d

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

论文简介

受ViTs远程建模能力的启发，大核卷积最近被广泛研究和采用，以扩大接受野和提高模型性能，如使用7×7深度卷积的出色工作ConvNeXt。虽然这种深度运算只消耗少量的FLOPs，但由于较高的内存访问成本，很大程度上损害了模型在功能强大的计算设备上的效率。例如，ConvNeXt-T具有与ResNet-50相似的FLOPs，但在A100 gpu上进行全精度训练时只能达到60%的吞吐量。虽然减小ConvNeXt的内核大小可以提高速度，但它会导致显著的性能下降。目前还不清楚如何在保持性能的同时加速基于大核的CNN模型。为了解决这个问题，受inception的启发，我们提出将大核深度卷积沿通道维度分解为四个平行分支，即小平方核，两个正交带核和一个单位映射。通过这种新的盗梦深度卷积，我们构建了一系列网络，即IncepitonNeXt，不仅具有高吞吐

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AICurator
关注
专栏目录
订阅专栏
综述: 3D Unet vs 2D Unet
MrCharles在CSDN
01-07 9513
使用傅立叶变换检测图像边缘 几种经典的卷积 卷积神经网络（CNN）已显示出实现多种计算机视觉任务的能力（例如图像分割）。分割任务主要有两种： 语义分割和实例分割。语义分割是对图像中的每个像素都划分出对应的类别，即实现像素级别的分类； 而类的具体对象，即为实例，实例分割不但要进行像素级别的分类，还需在具体的类别基础上区别开不同的实例。比如说...
AI：267-深入扩散模型组件测试：从调度器到 UNet 模型的代码实战
一键难忘的博客
09-07 2481
是diffusers库中的一个调度器，用于控制扩散模型的步长与噪声混合方式。它负责在每个时间步为图像添加或去除噪声，从而实现扩散过程。该类支持从预训练模型中加载参数，帮助开发者快速测试不同的扩散步数效果。本文中的代码片段将演示如何通过简单的图像噪声混合实验来测试调度器的工作情况。通过本文的探讨，我们深入了解了扩散模型中调度器的作用和实现方式，以及如何结合噪声预测模型进行完整的扩散和逆扩散过程。尽管实现过程中存在挑战，但通过参数调整和模型优化，可以显著提升生成效果。
探索文档解析技术，推动大模型训练与应用
热门推荐
盼小辉丶的博客
05-31 1万+
探索文档解析技术是推动大模型训练与应用的重要一环。在本节中，我们将回顾来自合合信息的智能创新事业部研发总监常扬在中国图象图形大会 (CCIG 2024) 中关于文档解析技术加速大模型训练与应用的分享，介绍大模型训练和应用过程的关键环节面临的挑战，探索当前高性能的文档解析技术。
文生图大模型三部曲：DDPM、LDM、SD 详细讲解！
不积跬步，无以至千里！
03-27 5315
文生图大模型Stable Diffusion的前世今生！
提升图像分割精度：学习UNet++算法
忆~遂愿的博客
01-05 9164
这篇文章将介绍UNet++算法，该算法是对原始UNet网络的改进，可以在图像分割任务中提高精度。UNet++算法通过引入多个级联的编码器和解码器模块，增加了网络的深度和宽度，从而有效地捕捉到不同尺度和语义层次的特征。此外，UNet++算法还增加了一个迭代式上采样模块，使得网络能够更好地处理不同分辨率的特征图。本文将详细介绍UNet++算法的结构和原理，并通过实验验证其在分割任务上的表现。
最强文生图跨模态大模型：Stable Diffusion
不积跬步，无以至千里！
12-12 3756
一文带你了解文生图大模型 Stable Diffusion !
冠军方案解读 | nnUNet改进提升笔记
qq_29462849的博客
12-13 3574
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童本文描述了基于nn-UNet试验了几种改进，包括使用更大的网络、用GN替换BN以及在解码器中使用...
Swin-UMamba：结合基于ImageNet的预训练和基于Mamba的UNet模型
AI浩
02-06 3212
准确的医学图像分割需要整合从局部特征到全局依赖的多尺度信息。然而，现有方法在建模长距离全局信息方面面临挑战，其中卷积神经网络（CNNs）受限于其局部感受野，而视觉转换器（ViTs）则受到其注意力机制高二次复杂度的困扰。最近，基于Mamba的模型因其在长序列建模中的出色能力而备受关注。多项研究表明，这些模型在各种任务中可以超越流行的视觉模型，提供更高的准确性、更低的内存消耗和更少的计算负担。
尝试在UNet的不同位置添加SE模块
qq_45981086的博客
05-28 4220
数据集：refuge视盘数据集，训练轮次：200，评价指标：dice coefficient、mean IOU。
论文阅读：UNET 3+: A FULL-SCALE CONNECTED UNET FOR MEDICAL IMAGE SEGMENTATION
a486259的博客
07-25 3560
最近，人们对基于深度学习的语义分割越来越感兴趣。UNet是一种具有编码器-解码器架构的深度学习网络，广泛用于医学图像分割。结合多尺度特征是准确分割的重要因素之一。UNet++是通过设计具有嵌套和密集跳过连接的架构而开发为修改后的Unet。但是，它没有从全尺度探索足够的信息，还有很大的改进空间。在本文中，我们提出了一种新颖的UNet3+，它利用了全面的跳过连接和深度监督。全尺寸跳跃连接将低级细节与来自不同尺度特征图的高级语义结合起来；...
Unet改进10：在不同位置添加CPCA||通道先验卷积注意力机制
m0_51530640的博客
08-29 894
低对比度和显著的器官形状变化等特征经常出现在医学图像中。现有注意机制的自适应能力普遍不足，限制了医学影像分割性能的提高。本文提出了一种有效的通道先验卷积注意(CPCA)方法，该方法支持通道和空间维度上注意权重的动态分布。通过采用多尺度深度卷积模块，有效地提取空间关系，同时保留先验通道。CPCA具有聚焦信息渠道和重点区域的能力。提出了一种基于CPCA的医学图像分割网络CPCANet。CPCANet在两个公开可用的数据集上进行验证。
Unet改进7：在不同位置添加SimAM注意力机制||无参数的卷积神经网络注意模块
m0_51530640的博客
08-25 257
在本文中，我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比，我们的模块在不向原始网络添加参数的情况下推断出层中特征映射的三维注意力权重。具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。我们进一步推导了能量函数的快速封闭解，并表明该解可以在不到十行代码中实现。该模块的另一个优点是，大多数算子都是根据定义的能量函数的解来选择的，避免了过多的结构调整工作。
Unet改进3：在不同位置添加NAMAttention注意力机制
m0_51530640的博客
08-24 152
识别不太显著的特征是模型压缩的关键。然而，它在革命性的注意机制中尚未得到研究。在这项工作中，我们提出了一种新的基于归一化的注意力模块(NAM)，它抑制了较不显著的权重。它将权重稀疏性惩罚应用于注意力模块，从而使它们在保持类似性能的同时提高计算效率。与Resnet和Mobilenet上的其他三种注意机制的比较表明，我们的方法具有更高的准确性。
Unet改进19：添加ScConv||用于特征冗余的空间和通道重构卷积
m0_51530640的博客
09-02 1095
卷积神经网络(cnn)在各种计算机视觉任务中取得了显著的性能，但这是以巨大的计算资源为代价的，部分原因是卷积层提取冗余特征。最近的作品要么压缩训练有素的大型模型，要么探索设计良好的轻量级模型。在本文中，我们尝试利用特征之间的空间和通道冗余来进行CNN压缩，并提出了一种高效的卷积模块，称为SCConv (spatial and channel reconstruction convolution)，以减少冗余计算并促进代表性特征的学习。
Unet改进24：添加DualConv||轻量级深度神经网络的双卷积核
m0_51530640的博客
09-05 490
卷积神经网络(CNN)架构通常对内存和计算要求很高，这使得它们在硬件资源有限的嵌入式系统中不可行。我们提出了双卷积核(DualConv)来构建轻量级深度神经网络。DualConv结合3 × 3和1 × 1卷积核同时处理相同的输入特征映射通道，并利用群卷积技术高效排列卷积滤波器。DualConv可以在任何CNN模型中使用，如VGG-16和ResNet-50进行图像分类，你只看一次(YOLO)和R-CNN进行对象检测，或完全卷积网络(FCN)进行语义分割。
对比学习训练是如何进行的
qq_45809323的博客
09-25 555
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
卷积神经网络（CNN）的计算量和参数怎么准确估计？
最新发布
叶庭云 成为自己的光
09-30 617
卷积神经网络（CNN）的计算量和参数怎么准确估计？
计算机毕业设计 基于深度学习的短视频内容理解与推荐系统的设计与实现 Python+Django+Vue 前后端分离 附源码 讲解 文档
weixin_19164791635
09-30 1235
本文介绍了一款基于Python的短视频内容理解与推荐系统，该系统通过深度学习技术实现对短视频内容的自动分析和用户个性化推荐。系统的开发旨在提升用户体验，优化内容推荐机制，推动短视频行业的创新和发展。
用于MRI重建的具有全局感受野的傅里叶卷积块|文献速递--基于多模态-半监督深度学习的病理学诊断与病灶分割
weixin_38594676的博客
09-26 974
在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。这意味着，虽然傅里叶域中的卷积核 W 大小与输入相同，但它的空间对应物可以是一个大小为 K × K 的零填充卷积核，大小范围从 1 × 1 到输入大小 N × N 不等。顶部显示了8×加速的结果，底部显示了12×加速的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值