UCTransNet论文阅读笔记

已于 2022-10-15 17:05:03 修改
阅读量606 收藏 2
点赞数
文章标签： 论文阅读
于 2022-10-15 17:01:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44085432/article/details/127336404
版权

主要贡献

本文提出了一种CTrans(通道转换器)模块用于替换UNet中跳跃连接，该方案由进行多尺度通道交叉融合的子模块(CCT)和一个引导融合的多尺度通道交叉信息的子模块(CCA)组成
从通道的角度融合多尺度上下文和交叉注意力
在这里插入图片描述

将原来的跳过连接替换为由CCT模块和CCA模块组成的CTrans
CCT模块：多尺度输入间进行交叉注意力
将原来的直接concat改成了CCA模块
CCA模块：在CCA中，输入分别进行平均池化，维度变为(1,24,1,1)，再进行展平，维度变为(1,24)，然后经过线性层。将两个结果相加/2，经过sigmoid，然后增加维度，重新变为(1,24,1,1)。接着和x进行相乘，进行注意力计算。
在这里插入图片描述

实验结果

与U-Net相比，UCTransNet在GlaS、MoNuSeg和Synapse数据集上分别获得了4.05% Dice、7.98% Dice和9.00% Dice的绝对增益。
在这里插入图片描述

weixin_44085432
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
MoNuSeg数据集，用于病理研究。深度学习。
06-29
MoNuSeg数据集，用于病理研究。深度学习。
UCTransNet 又一个transformer的医学图像语义分割模型
skyfengye的博客
09-15 1502
这篇文章也是一个医学图像语义分割的模型，同样是基于U-Net，UCTransNet文章一开始分析了，U-Net 的各种形式，对于大家熟悉的跳连接进行了分析。发现 由于编解码器阶段特征集不兼容，并不是每个跳跃连接设置都是有效的，甚至一些跳跃连接会对分割性能产生负面影响; 原有的U-Net在某些数据集上比没有跳过连接的U-Net更差。 后来作者提出了一种新的模型结构，具体来说，CTrans(Channel Transformer))模块是U-Net skip connections的替代，其中一个子模块用.
[深度学习论文笔记]UCTransNet:从transformer的通道角度重新思考U-Net中的跳跃连接
Slientsake的博客
06-23 1万+
UCTransNet:从transformer的通道角度重新思考U-Net中的跳跃连接
UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wisePerspective with Transforme
qq_43733107的博客
08-26 1851
UCTransNet
UCTransNet代码详解
qq_43733107的博客
08-31 2499
UCTransNet
【计算机视觉 | 语义分割】干货：语义分割常见算法介绍合集（二）
wzk4869的博客
09-14 770
【计算机视觉 | 语义分割】干货：语义分割常见算法介绍合集（二）
论文笔记：UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wisePerspective with Transf
m0_53534129的博客
03-16 4124
UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wisePerspective with Transformer.
论文阅读笔记模板
08-19
【论文阅读笔记模板】 在计算机科学与技术领域，学术论文是知识传播的重要载体，而有效阅读和理解论文是提升专业技能的关键步骤。以下是一个适用于计算机相关专业论文阅读的笔记模板，旨在帮助读者系统地记录、理解...
学习看论文入门记录、阅读论文笔记模板
07-11
论文的基本了解、论文笔记内容、阅读记录模板纵向、阅读记录模板横向、论文搜索翻译润色、笔记等的相关网站软件记录
论文阅读笔记模板1
08-08
【毕业设计】——论文阅读笔记模板AI-For-NLP课程小组日期标题作者问题/任务描述在本篇论文中，我们将采用一个系统性的方法来记录和理解一篇研究文章，旨在为毕业设计提供有效的文献分析框架。 1. 文献类型分类这篇...
《一种SINSCNSGNSS组合导航滤波算法》论文阅读笔记.pdf
最新发布
07-23
捷联惯性导航系统/天文导航系统/全球导航卫星系统（SINS/CNS/GNSS）构成的组合导航系统可有效提高飞行器的定位精度，而导弹等飞行器常用发射时刻的发射点惯性坐标系作为测量载体飞行的基准。为此，首先在发射惯性...
跨域的两篇顶会论文的阅读笔记-PPT展示
04-17
这篇阅读笔记涵盖了两篇关于跨域问题的顶会论文，一篇是关于跨域人群计数的"Bi-level Alignment for Cross-Domain Crowd Counting"，另一篇是关于迁移学习的"Few-shot Image Generation via Cross-domain ...
当Transformer再遇见U-Net！UCTransNet：医学图像分割新工作
阿木寺的博客
09-15 5604
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童UCTransNet: Rethinking the Skip Connections in U-Net...
【论文笔记】DEEP FEATURE SELECTION-AND-FUSION FOR RGB-D SEMANTIC SEGMENTATION
m0_61899108的博客
12-07 643
题目：DEEP FEATURE SELECTION-AND-FUSION FOR RGB-D SEMANTIC SEGMENTATION收录于：ICME 2021论文：Deep Feature Selection-And-Fusion for RGB-D Semantic Segmentation | IEEE Conference Publication | IEEE Xplore[2105.04102] Deep feature selection-and-fusion for RGB-D semant
U-Net结构改进：双交叉注意力模块（DCA）
记录
05-07 1万+
本文由迈阿密大学的研究团队于2023年3月30日发表，提出了双交叉注意力模块（Dual Cross-Attention , DCA），其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体，能够简单而有效地增强u-net结构中的跳跃连接（skip-connection）。
ResNet+UNet是不是真的有效？医学图像分割框架UCTransNet开源
AI_Conf的博客
09-17 1304
AMiner论文推荐 论文标题：UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wise Perspective with Transformer 论文链接：https://www.aminer.cn/pub/613accd65244ab9dcb4169bf?f=cs 最近的很多医疗语义分割方法都采用了带有编解码器结构的U-Net框架。但是U-Net采用简单的跳跃连接方案对于全局多尺度问题进行建模仍然具有挑战性: 由于
【语义分割】2019-CCNet ICCV
wujing1_1的博客
08-05 850
存在的问题：Non-local也说了它自己存在的问题，就是十分吃显存，于是呢，有了问题，就要解决：上下文信息对于语义分割和目标检测任务都很重要，这里提出CCNet。对于每个像素，criss-cross attention模块能获得其交叉路径上所有像素的上下文信息，通过进一步的递归操作，每个像素最终可以捕获全图像的依赖关系。此外，提出类别一致损失使得criss-cross attention模块生成更具判别性的特征。...
几种Transformer+CNN（U-net）网络
热门推荐
qq_35989942的博客
03-31 1万+
一. 对比 U-Net Transformer 优点 融合深层语义信息和高精度特征所含信息 提取全局信息 不足 无法对距离较远的特征的上下文关系进行建模 缺少局部细节处的信息 二. 网络 1. TransUNet 文章：TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation 2. TransFuse 文章：TransFuse: Fusing Transformers and CNNs
deepseek-vl 论文阅读笔记
samoyan的博客,记录技术成长~
07-22 1087
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值