Unet改进49：全网首发直方图TransformerBlock（2024最新模块）|通过将空间特征按强度排序并划分为不同的直方图区域（bins），从而对相似的降质像素进行分组处理

于 2024-09-28 11:31:22 发布
阅读量1 收藏
点赞数
分类专栏： Unet改进专栏 文章标签： 深度学习 神经网络 机器学习 unet 语义分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51530640/article/details/142613065
版权

本文内容：在不同位置添加TransformerBlock

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

论文简介

摘要。基于变压器的恶劣天气图像恢复方法取得了重大进展。它们大多使用沿通道维度或空间固定范围块的自关注来减少计算负荷。然而，这种折衷导致了在捕获远程空间特征方面的限制。由于观测到天气引起的退化因素主要导致相似的遮挡和亮度，在这项工作中，我们提出了一种有效的直方图转换器(Histogram Transformer, Histoformer)来恢复受恶劣天气影响的图像。它是由一种被称为直方图自注意的机制驱动的，该机制将空间特征分类并分割成基于强度的箱子。然后将自关注应用于箱间或每个箱内，选择性地关注动态范围的空间特征，并将长范围的相似退化像素一起处理。为了增强直方图的自注意，我们提出了一种动态范围卷积，使常规卷积能够对相似像素而不是相邻像素进行操作。我们还观察到，常见的逐像素损失忽略了输出和真值之间的线性关联和相关性。因此，我们建议利用Pearson相关系数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AICurator
关注
专栏目录
订阅专栏
YOLOv8改进 | 主干篇 | 利用图像分割网络UNetV2改善图像分割检测性能（全网独家首发）
Snu77的博客
03-20 2905
官方论文地址点击此处即可跳转官方代码地址点击此处即可跳转U-Net v2 旨在改进医学图像分割的性能，通过引入一种新的、更为高效的跳跃连接设计来实现。这个版本的U-Net专注于更好地融合来自不同层级的特征——既包括从高级特征中提取的语义信息，也包括从低级特征中提取的细节信息。通过这种方式，U-Net v2能够在低级特征中注入丰富的语义信息，并同时精细化高级特征，从而实现对医学图像中对象边界的精确勾画和小结构的有效提取。关键的技术创新包括：使用深度神经网络编码器从输入图像中提取多级特征。
Mamba-UNet：用于医学图像分割的类似UNet的纯视觉Mamba网络
AI浩
02-14 4436
所提出的Mamba-UNet的架构如图2所示，其灵感来源于UNet [24] 和 Swin-UNet [3]。首先将大小为 H × W × 1 的2D灰度图像分割成类似于ViT和VMamba的块 [5,16]，然后转换为维度为 H/4 × W/4 × 16 的1D序列。一个初始的线性嵌入层将特征维度调整为任意大小C。这些块令牌随后通过多个VSS块和块合并层进行处理，以创建分层特征。块合并层负责下采样和维度增加，而VSS块则专注于学习特征表示。
[深度学习论文笔记]Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
Slientsake的博客
05-26 4万+
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation Swin-Unet：用于医学图像分割的类Unet纯transformer 论文：https://arxiv.org/abs/2105.05537 代码：https://github.com/HuCaoFighting/Swin-Unet
图像分割（三）—— Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_42208244的博客
09-12 4044
transformer图像分割
Swin Unet——结合U-Net和Transformer的医学图像分割的网络解析
知来者逆的博客
04-15 4888
Swin-Unet的性能被与纯CNN和结合了CNN的Transformer方法进行了比较。实验结果表明，Swin-Unet在多器官分割任务上取得了优于其他方法的性能。这可能是因为Swin-Unet能够有效地结合局部和全局信息，从而更好地理解医学图像中的复杂结构。
Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation 医疗图像分割阅读笔记
weixin_43656644的博客
03-22 7462
原文地址：https://arxiv.org/pdf/2105.05537.pdf 收录：CVPR 2021 代码:https://github.com/Beckschen/TransUNet 首篇将transformers用于医疗分割的文章 设计的Idea：UNet +transformers的结合体，使用的具体模块:ViT+ResNet50+skip connection 对关键的公式，和结构图进行了个人的一些注释，供大家参考。 目录 摘要 1 Introduction 2 ...
LeViT-UNet: Make Faster Encoders with Transformer for Medical Image Segmentation
qq_52241167的博客
08-07 1436
Transformer 最初被用于 (NLP) 任务中的序列到序列建模，例如机器翻译、情感分析和信息提取。最近，基于 Transformed 的架构（称为 ViT [9]）已应用于视觉相关任务，并通过大规模预训练在图像分类任务中取得了最先进（SOTA）的结果数据集[10][11]。它们也被研究用于语义分割，例如。然而，这些基于 Transformer 的方法的主要局限性在于对计算能力的高要求，这阻碍了它们在实时应用中的使用，例如放射治疗。LeViT [11]
深度学习：使用UNet做图像语义分割，训练自己制作的数据集并推理测试（详细图文教程）
热门推荐
qq_40280673的博客
10-22 4万+
语义分割(Semantic Segmentation)是图像处理和机器视觉一个重要分支。与分类任务不同，语义分割需要判断图像每个像素点的类别，进行精确分割。语义分割目前在自动驾驶、自动抠图、医疗影像等领域有着比较广泛的应用。我总结了使用UNet网络做图像语义分割的方法，教程很详细，学者耐心学习。
[Transformer]Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_37151108的博客
10-20 4525
Swin-UNet：基于纯Transformerde的医学图像分割网络 Abstract 近年来CNN已经成为医学图像分析任务的基础结构，尤其是融合了编解码结构和skip-connection的U型网络广泛应用于各种医学图像分析任务。然而受限于卷积操作的局部性，CNN并不能很好的学习全局信息以及长程语义信息。 本文提出的Swin-UNet,是一个纯基于Transformer搭建的U型网络，可以用于医学图像分割任务。
Swin-UNet取标记后的图像patch作为输入，搭建的U型网络包含编解码结构以及skip
文生图大模型三部曲：DDPM、LDM、SD 详细讲解！
不积跬步，无以至千里！
03-27 5284
文生图大模型Stable Diffusion的前世今生！
图像去噪-基于Swin-Transformer+UNet实现的图像去噪算法-效果佳-附项目源码-优质项目实战.zip
04-29
本文将深入探讨一种基于Swin-Transformer和UNet架构的图像去噪算法，该算法在实际应用中表现出优秀的性能，并且提供完整的项目源码供学习和实践。 Swin-Transformer是Transformer模型在计算机视觉中的一个创新应用...
深度学习 Unet 实战分割项目：卫星图像道路分割图像分割数据集（二值图像分割任务）
03-06
本项目为 Unet 多尺度分割实战项目，包含数据集、代码、训练好的权重文件。经测试，代码可以直接使用 项目介绍：总大小699MB 本项目数据集：卫星图像道路分割图像分割数据集 网络仅仅训练了10个epochs，全局像素点...
遥感图像分割-基于一种类似UNet的Transformer算法实现遥感城市场景图像语义分割-适用于卫星图像+航空图像+无人机图像
04-08
遥感图像分割_基于一种类似UNet的Transformer算法实现遥感城市场景图像的语义分割_适用于卫星图像+航空图像+无人机图像_优质项目实战
Unet改进30：添加CAA(2024最新改进方法)|上下文锚定注意模块来捕获远程上下文信息。
m0_51530640的博客
09-09 710
遥感图像中的目标检测经常面临一些日益严峻的挑战，包括目标尺度的巨大变化和不同的测距环境。先前的方法试图通过大核卷积或扩展卷积来扩展主干的空间感受野来解决这些挑战。然而，前者通常会引入相当大的背景噪声，而后者可能会产生过于稀疏的特征表示。在本文中，我们引入聚核初始网络(PKINet)来解决上述挑战。PKINet采用无扩展的多尺度卷积核来提取不同尺度的目标特征并捕获局部上下文。此外，还并行引入了上下文锚定注意(CAA)模块来捕获远程上下文信息。
DeepSS2GO——基于 CNN 的模型可以根据化学键预测蛋白质的功能
知来者逆的博客
09-24 608
研究发现，DeepSS2GO通过减少主序列中的冗余信息并引入一个整合二级结构特征的学习模块，提高了预测蛋白质功能的性能。作者引入了经典的卷积神经网络来提高该模型二次结构的有效性，但认为可以利用GNN 和****自监督学习来进一步提高功能预测模型的性能。此外，用于预测一级结构和二级结构的算法认为，氨基酸长度超过 1024 个的大型蛋白质不在预测范围之内。今后，必须引入对更长序列进行二级结构预测的方法。此外，该模型还可用于预测多肽的功能，从而更广泛地阐明疾病和发现药物靶点。
对比学习训练是如何进行的
qq_45809323的博客
09-25 452
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
深度学习：迁移学习
最新发布
纸上得来终觉浅
09-27 890
迁移学习
从0开始深度学习（6）——Pytorch动态图机制（前向传播、反向传播）
立志成为炼丹师？
09-27 587
PyTorch 的动态计算图机制是其核心特性之一，它使得深度学习模型的开发更加灵活和高效。
【深度学习】03-神经网络2-1损失函数
weixin_41645791的博客
09-23 836
L2 的特点是，当初始值的给的不好，导致预测值和目标值差异大的时候，会产生梯度爆炸，所以我们也不用这个损失函数，而是做正则化来缓解过拟合。热编码是，默认会找你的最大值去，确定有多少个0，因为0也算一个位置，所以如果最大值为5，那么就一共有6位（0，1，2，3，4，5。L1 这个损失函数最大的特点是： 零点不平滑，导致不可导，跳过极小值，所以不会用来做损失函数，而是做正则化用来缓解过拟合。这里的是API 的注意⚠️，但是在真实的公式中，目标值一定是热编码之后的，但是在API中可以是热编码之前的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AICurator

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值