Unet改进12：添加PCONV||减少冗余计算和同时存储访问

于 2024-08-31 09:32:04 发布
阅读量9 收藏
点赞数
分类专栏： Unet改进专栏 文章标签： 深度学习 神经网络 unet 语义分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/141744261
版权

本文内容：添加PCONV

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

论文简介

为了设计快速的神经网络，许多工作都集中在减少浮点运算(FLOPs)的数量上。然而，我们观察到FLOPs的这种减少并不一定会导致类似程度的延迟减少。这主要源于低效率的每秒浮点操作数(FLOPS)。为了实现更快的网络，我们回顾了流行的运营商，并证明了如此低的FLOPS主要是由于运营商频繁的内存访问，特别是深度卷积。因此，我们提出了一种新的部分卷积(PConv)，通过减少冗余计算和同时存储访问，更有效地提取空间特征。在我们的PConv的基础上，我们进一步提出了FasterNet，这是一个新的神经网络家族，它在广泛的设备上获得了比其他神经网络更高的运行速度，而不会影响各种视觉任务的准确性。例如，在ImageNet1k上，我们的微型FasterNet-T0在GPU、CPU和ARM处理器上分别比MobileViT-XXS快2.8倍、3.3倍和2.4倍，同时准确率提高2.9%。我们

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AICurator
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
YoloV8改进策略：卷积篇|使用PConv替换YoloV8中的卷积|即插即用，简单高效
m0_47867638的博客
04-20 2247
本来想选COCO数据集，但是我觉得训练相同的epoch是一种不公平的对比，因为预训练本来就是COCO数据集上得来的，这样对官方的模型有利，而我改动了模型的结构，导致了没有预训练参数。所以我更换一个数据集。
YoloV8改进策略：BackBone改进|Mamba-UNet改进YoloV8，打造全新的Yolo-Mamba网络
m0_47867638的博客
02-14 3453
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
SelfReg-UNet：解决UNet语义损失，增强特征一致性与减少冗余的优化模型
Debroon
06-25 1243
对应于去除重复的书籍或很少被查看的书籍。通过这种方式，优化后的模型（如SelfReg-UNet）就像是一个被精心整理过的书架，不仅容易找到所需的信息，而且还有效地利用了空间，去除了不必要的元素。：通过将特征图分割为两部分并独立处理，这种方法旨在减少特征冗余，并通过蒸馏技术从浅层特征向深层特征传递有价值的信息，促进模型学习更为精确和有用的特征表示。这两种方法都是针对UNet架构中存在的特征冗余和监督不对称问题提出的解决方案，旨在通过改进特征处理和优化信息流，提高模型对医学图像的分割精度和效率。
AI：210-YOLOv8改进：卷积篇 | 保姆级探索动态蛇形卷积 (Dynamic Snake Convolution) 的实现与应用
一键难忘的博客
08-05 4324
动态蛇形卷积是一种新的卷积操作，它能够更好地捕捉图像中的细节信息。传统卷积核的形状和大小是固定的，而动态蛇形卷积则允许卷积核在不同的位置动态调整其形状，以更好地适应输入数据的特点。这种灵活性使得动态蛇形卷积在处理复杂背景和细节丰富的图像时具有显著优势。我们先定义一个基本的动态蛇形卷积模块。这个模块将作为YOLOv8卷积层的替代。为了全面集成动态蛇形卷积，我们需要修改YOLOv8的模型定义，将所有的基础卷积层替换为我们的SnakeConv模块。
深度学习：目标分割｜UNet网络模型及案例实现
热门推荐
m0_58475958的博客
08-15 1万+
1 UNet网络架构 UNet网络由左编码部分，右解码部分和下两个卷积+激活层组成 编码部分 从图中可知：架构中是由4个重复结构组成：2个3x3卷积层，非线形ReLU层和一个stride为2的2x2 max pooling层（图中的蓝箭头，红箭头） 每一次下采样特征通道的数量加倍 解码部分 和编码层类似，反卷积也有4个重复结构组成 每个重复结构前先使用反卷积，每次反卷积后特征通道数量减半，特征图大小加倍（绿箭头） 反卷积之后，反卷积的结果和编码部分对应步骤的特征图拼接起来（白/蓝块） 如果编
论文解读 | Mamba系列 | UltraLight VM-UNet: 并行视觉Mamba显著减少皮肤病变分割参数
m0_61574757的博客
07-27 642
本文提出了一种创新的超轻量级医学图像分割网络UltraLight VM-UNet，该网络通过将最新的状态空间模型（SSM）技术——Mamba，与经典的UNet架构相结合，实现了皮肤病变分割任务中参数数量和计算负载的显著减少。UltraLight VM-UNet的参数仅为0.049M，GFLOPs为0.060，相比传统模型在性能上保持竞争力甚至更优。
UNET 3+: A FULL-SCALE CONNECTED UNET FOR MEDICAL IMAGE SEGMENTATION
我的博客
10-27 8255
最近，人们对基于深度学习的语义分割产生了越来越大的兴趣。UNet是具有编码器-解码器结构的深度学习网络之一，被广泛用于医学图像分割。结合多尺度特征是准确分割的重要因素之一。UNet++是通过设计一个具有嵌套和密集跳过连接的架构，作为一个改进的Unet而开发的。然而，它并没有从全尺度中发掘足够的信息，仍有很大的改进空间。在本文中，我们提出了一个新颖的UNet 3+，它利用了全尺度跳过连接和深度监督的优势。全尺度跳过连接将低层次的细节与不同尺度的特征图的高层次语义结合起来；而深度监督则从全尺度聚合的特征图中学习
YoloV8改进策略：Block改进|Mamba-UNet改进YoloV8，打造全新的Yolo-Mamba网络
m0_47867638的博客
02-16 3348
本文尝试使用Mamba的VSSBlock替换YoloV8的Bottleneck，打造最新的Yolo-Mamba网络。在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉转换器（ViT）都取得了显著的基准成绩。前者通过其卷积操作在捕获局部特征方面表现出色，而后者则通过利用自注意力机制实现了出色的全局上下文理解。然而，这两种架构在有效建模医学图像中的长距离依赖关系时都存在局限，这对于精确分割至关重要。受到Mamba架构的启发，该架构因其处理长序列和全局上下文信息的能力以及作为国家空间模型（SSM）的增强计算
大数据最全DC-UNet：重新思考UNet架构和双通道高效CNN医学图像_unet改进(1)
2401_84186067的博客
05-04 949
虽然可以使用1x1的卷积层来降低维度，但是使用更大的卷积核来进行卷积也是相当耗时的，因此Inception模块可以进一步简化为下图所示的结构使用两个3x3的卷积来代替一个5x5的卷积。
Unet改进7：在不同位置添加SimAM注意力机制||无参数的卷积神经网络注意模块
m0_51530640的博客
08-25 155
在本文中，我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比，我们的模块在不向原始网络添加参数的情况下推断出层中特征映射的三维注意力权重。具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。我们进一步推导了能量函数的快速封闭解，并表明该解可以在不到十行代码中实现。该模块的另一个优点是，大多数算子都是根据定义的能量函数的解来选择的，避免了过多的结构调整工作。
YOLOv9独家原创改进：mamba系列 | 视觉态空间（VSS）块结合C2f二次创新，轻量级改进 | VMamba2024年最新成果
05-20 687
视觉态空间（VSS）块结合C2f二次创新，轻量级改进
AI自动采集教学行为——用AI来做机器学习部分和深度学习部分（含torch和cuda）包含机器学习模型和bert模型的使用
最新发布
东方
08-30 110
这个错误是由于 .whl 文件名中的空格导致的。Python 的 pip 工具不允许 .whl 文件名中包含空格。python 机器学习文本分类，读取合并后的excel，‘句子’列是输入，‘标注’列是输出，怎么写代码需要什么库 要最简单的。重命名文件：将 .whl 文件名中的空格替换为下划线 _ 或直接删除空格。提取“句子”列，‘标注’列和‘上下文情境’这三列。按顺序把excel中的这三列拼接在一起。本来走的是autodl的设备，合并输出成一个xlsx文件。之后会报错，需要重命名。要遍历当前文件夹下从。
【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）
hxdxiaoming的博客
08-29 530
本次课将使用下列数据集：关于电影评价的数据集。
深度学习基础—池化
sniper_fandc的博客
08-30 304
最大池化的直观理解就是区域内最大值可能就是我们想要提取的重要特征，比如边缘检测，通常边缘附近是数值变化较大的地方，比如由亮变暗，像素值由大变小，如果过滤器覆盖了边缘，就会找到像素值大的特征值提取出来，从而保留重要的边缘信息，减少不是边缘的冗余信息。假设输入的图片是4*4的灰度图片（二维，只有一个通道），过滤器选择2*2，步长选择2，这样的效果就是将4*4的图片分为4块，因此结果是2*2的图像。由于卷积运算的重叠性，很多计算的特征是冗余的，而池化就可以将较大且特征较弱的图转化为较小且特征较强的图。
【王树森】RNN模型与NLP应用(1/9)：数据处理基础（个人向笔记）
hxdxiaoming的博客
08-29 130
为什么国籍要用One-Hot编码而不是直接用数字编码更节省存储空间？
【学习笔记】第三章深度学习基础——Datawhale X李宏毅苹果书 AI夏令营
MoyiTech
08-27 492
梯度为0的点我们统称为临界点，包括局部极小值、鞍点等局部极小值和鞍点的梯度都为0，那如何判断呢？先请出我们损失函数：L(θ)，θ是模型中的参数的取值，是一个向量。由于网络的复杂性，我们无法直接写出损失函数，不过我们可以写出损失函数的近似取值。根据宋浩老师所讲的大学一年级高等数学的知识，我们可以通过三阶泰勒展开对损失函数在θ附近的取值进行近似：其中，θ是模型中的参数的取值，θ’是在θ附近的取值。H是海森矩阵，Hij​是L对θi​和θj​的二阶偏导数。
深度学习100问24:什么是语言模型
yyq916的博客
08-30 149
原来呀，它悄悄地学习了好多好多的文本数据，就像读了无数本故事书一样。比如说，你给它一个句子的开头几个词，它就能像个聪明的小侦探一样，猜猜后面最有可能出现啥词。- 机器翻译：在翻译的世界里，它就像一个热心的小助手。帮助翻译系统更好地理解原文的意思，然后生成更通顺的目标语言文本。不管是搞笑的故事、严肃的论文，还是浪漫的诗歌，它都能应付得来，具有很强的通用性。能更好地理解你输入的查询意图，然后给你提供更准确的搜索结果。能理解你的问题，然后给出合理又好玩的回答。能生成超级自然的文本，就像真正的人写出来的一样。
深度学习100问22:什么是RNN训练过程中的反向传播算法
yyq916的博客
08-30 102
有了这些梯度，小朋友就知道该怎么调整自己的“思考方式”了（更新网络的权重和偏置）。比如，如果发现某个线索（参数）对错误的影响很大，那就多调整一下这个线索的用法。在这个过程中，小朋友会计算出每个步骤对最终错误的“贡献”有多大，也就是计算损失函数对每个参数的梯度。想象一下，RNN 就像是一个在学习猜谜语的小朋友。反向传播呢，就是这个小朋友发现自己猜错了之后，想办法找出自己哪里错了并且改正的过程。总的来说，反向传播就是 RNN 自我改进的一种方法，通过从错误中学习，不断调整自己，变得越来越厉害。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值