从Mamba到xLSTM，魔改U-net杀疯了！

最新推荐文章于 2024-12-26 16:00:28 发布
最新推荐文章于 2024-12-26 16:00:28 发布
阅读量498 收藏 1
点赞数
文章标签： 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NTAyNTQ1OQ==&mid=2247536851&idx=1&sn=4467ffb7677523c3cbc2e83bb20a3711&chksm=fafcb8a8cc16c297669afd46b6c176e76b988ac0392d3ca74449349f1defc64c73932649f31c&scene=126&sessionid=0
版权

人工智能在医疗领域的交叉应用，如今成为最热门的研究方向之一，医学图像与深度学习技术的结合，在图像分类、检测、分割等任务中，创新成果不断，并以医学图像分割为首，2015年提出的UNet网络，至今十年，仍是顶会顶刊或医学挑战赛，必不可少的改进基础，今年大火的Mamba、KAN、xLSTM，基于UNet优化后的架构，也屡次刷新了SOTA！

a33b10118f36ba293b0cd86c9134a7ec.png

为了帮助大家掌握UNet及具体改进idea，研梦非凡于7月18日（周四），邀请了手握多篇SCI一作、MICCAI'22挑战赛获奖的崔导师，独家分享最新成果《医学图像之气道树分割基于UNet创新》（AI前沿直播课NO.55），从肺部气道分割赛道切入，分析临床背景、面临挑战，再到气道分割技术路线，并重点讲解方法创新点，最后详解实验结果、模型部署，1节课高起点入门医学图像分割及UNet改进！

👇🏻扫描二维码找助教0元预约直播课！

240fab3391ad577958030854ef8f50cf.png

凡预约即可免费领取UNet（改进）30篇精选论文+其他方法10篇+ATM'22挑战赛综述+文末还有算力等科研福利！

1cc816850a37eabe9316556f47b74df1.gif

直播课内容概览

00 临床背景

  1. 气道分割的概念

  2. 基于CT的精确分割

  3. 气道树模型在支气管镜导航系统中的应用

01 面临的挑战

  1. 过分割；断裂、破损；严重类内不平衡

  2. 原因分析

  • 训练数据无法有效覆盖所有小气道分支

  • 一般分割模型及损失函数，面对复杂的气道树拓扑结构，存在明显的局限性

02 气道树分割技术路线

  1. 肺部CT数据来源及构建

  2. 训练数据、数据采样模块、分割模型、自适应权重损失函数等流程

03 气道树数据采样策略

  1. 骨架采样策略

  2. 小气道分支采样策略

04 气道树分割模型架构（重建拓扑结构）

  1. ConvBlock结构

  2. ATUNet模型

  3. Multi-Spatial Excitation（SE）等组成

05 自适应权重的Dice

  1. 位于较粗的气道vs位于较细的气道

  2. 权重分配原则、公式

  3. 自适应权重的卷积核大小优选

  4. Loss值计算公式

06 实验结果

  1. 采用的评估指标：BD（分支检测率)、TD（树长检测率）、Dice和Precision

  2. ATM22数据集

  3. 基于不同方法的对比实验

  4. 基于不同组件的消融实验

  5. 模型部署

  • Pytorch构建训练模型

  • Onnx简化模型结构

  • Onnx Runtime加速推理

07 总结与讨论

  1. FP（假正例）主要分为两类

  2. FN（假负例）的分布

  3. 定性的讨论

导师介绍

  崔导师

【研究经历】现任医疗上市公司高级算法研究员，主要研究方向为，医学影像分析、多模态医学影像大模型、深度学习、机器学习等。

【科研成果】近年发表数十篇相关学术论文，其中，SCI论文7篇，授权发明专利两项，获MICCAI2022挑战赛第二名，并担任PhysicsinMedicineandBiology(PMB)和IEEEAccess期刊审稿人，学生论文指导经验十分丰富。

直播福利

参加本次直播的同学都将获得1小时导师meeting的福利（助教+导师）！原价2999，限时福利价9.9元！活动时间为7月18日到7月31日。

ps：研梦非凡开设的前沿论文系列直播，旨在帮助大家提升读论文技能，快速抓住重点，掌握有效方法，进而找到创新点，轻松完成论文报告。

👇🏻扫描二维码找助教0元预约直播课！

83b91ba27402023b177b21802d196898.png

凡预约即可免费领取UNet（改进）30篇精选论文+其他方法10篇+ATM'22挑战赛综述+文末还有算力等科研福利！

7bab57981fe31e0c8ac3237fa010d471.gif

研梦非凡科研论文指导

如果你的研究方向/方法/idea是属于CV全方向/NLP全方向/机器学习/深度学习及AI+金融、医疗、交通等方向，如果你需要发CCF A-C、SCI一区-四区、EI会议/EI期刊、毕业大论文、毕业设计等，都可以来研梦非凡，匹配合适的科研指导。

研梦非凡可指导的研究方向

38ba2481b332f6d37a0c86e1510c853a.jpeg

主流方向科研论文常用方法

77e1793562129a10cf3e347cc17111ea.jpeg

研梦非凡现有idea

419bcd225bd43455e965061709090177.png

👇🏻扫码找助教了解更多/验证自己的idea是否可行

d8b78c27e266576d9f8174342ca8d564.png

研梦非凡科研论文指导方案

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

f8c77ba2adab5a548640b9eaf88dfdff.jpegbfbbc209eee8df844b36e4d3c92797f1.jpeg

<<< 左右滑动见更多 >>>

👇🏻扫描二维码咨询助教两种指导方案

2a0e1a4a284b5b6028ce87d35e234089.png

研梦非凡部分导师介绍

研梦非凡导师团队，来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后，以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。

这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～

c41277bdb99011d25ba80ee5d4067a34.pnge90fa02244ab5f00a4fa74f5f1e0ca1b.pngfa9e1ebf4aefc8cfba9a699ddb7c742a.png8aa2e7822b288073a11eb36731006cf3.png

<<< 左右滑动见更多 >>>

👇🏻扫码加助教为你匹配合适课题的大牛导师

e13f1db646ac5211b0d90cf038ab8c4b.png

研梦非凡科研福利

🌟90分钟人工智能零基础入门课免费领

🌟7小时科研论文写作系列课免费领

🌟数十节前沿论文直播课程免费领

🌟50小时3080GPU算力免费领

🌟百篇7月论文资料大合集免费领

🌟报名本次直播课，9.9元即可享受原价2999元的1小时导师meeting（助教+导师）！ 

👇🏻扫码领取以上6重粉丝专属科研福利！

9a46f65e0ae93ee8af4329c4b94f4c7c.png

8d0d20261be5526b4c9d04af548b7422.jpeg

人划

UNet 改进(20)：结合特征金字塔网络的改进UNet架构
2401_82355416的博客
04-27 174
​​编码器部分​​：负责逐步提取图像特征​​FPN模块​​：构建特征金字塔，增强多尺度特征表示​​解码器部分​​：逐步上采样并恢复空间分辨率​​输出层​​：生成最终的分割结果。
UNet 改进(1)：使用Squeeze-and-Excitation模块增强
最新发布
2401_82355416的博客
04-06 154
在图像分割领域，UNet以其经典的编码器-解码器结构和跳跃连接而闻名。今天将介绍一种改进版的UNet——UNet_SE，它在传统UNet基础上引入了Squeeze-and-Excitation(SE)模块。能够自适应地重新校准通道特征响应，从而提升网络性能。UNet_SE网络结构：UNet_SE保留了传统UNet的基本架构，但在关键位置加入了SE模块。: 通过全局平均池化将空间特征压缩为一个通道描述符: 使用两个全连接层学习通道间的非线性关系: 将学习到的权重应用于原始特征图网络特点。
U-Net结构改进：双交叉注意力模块（DCA）
热门推荐
记录
05-07 2万+
本文由迈阿密大学的研究团队于2023年3月30日发表，提出了双交叉注意力模块（Dual Cross-Attention , DCA），其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体，能够简单而有效地增强u-net结构中的跳跃连接（skip-connection）。
xLSTM-UNet来了！把Mamba换成xLSTM，可提升医学图像分割性能！
阿木寺的博客
07-06 1707
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和医学影像】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！“仅仅将U-Mamba中的Mamba换成xLSTM，就能带来突出的性能提升，代码和模型均已开...
Unet改进27：添加DGCST|Vision Transformer与DGSM模块集成在一起的创新结构
AIcurator的博客
09-08 621
随着移动计算技术的快速发展，在移动设备上部署高效的目标检测算法成为计算机视觉的一个关键研究领域。本研究的重点是优化YOLOv7算法，以提高其在移动平台上的运行效率和速度，同时确保高精度。本研究利用Group Convolution、ShuffleNetV2、Vision Transformer等先进技术的协同作用，有效地减少了模型的参数数量和内存使用，简化了网络架构，增强了在资源受限设备上的实时目标检测能力。实验结果表明，改进的YOLO模型表现出优异的性能，显著提高了处理速度，同时保持了优异的检测精度。
UNet++：巧妙改进之力在语义分割领域的绽放
DXCAWMM的博客
03-15 1万+
UNet++是由美国亚利桑那州立大学（Arizona State University，ASU）团队开发的语义分割项目。
YOLOv11改进策略【YOLO和Mamba】| 替换骨干 Mamba-YOLOv11-T !!! 最新的发文热点
Limiiiing的博客
11-23 1294
模块是模型中的一个重要组成部分，其主要作用是在模型的初始阶段对输入图像进行处理，方便后续的特征提取和目标检测。以下是对。
RT-DETR改进策略【RT-DETR和Mamba】| 替换骨干 Mamba-RT-DETR-L !!! 最新的发文热点
Limiiiing的博客
11-25 1209
Vision Clue Merge模块在Mamba - YOLO模型中同样重要，主要负责在模型的下采样过程中处理特征图，为后续的特征融合和目标检测任务提供更有效的信息。
mamba-ssm-1.1.3-cp310-cp310-win-amd64.whl.zip
11-27
mamba_ssm-1.1.3-cp310-cp310-win_amd64.whl是一个安装包文件，它允许用户在Windows操作系统上安装名为mamba_ssm的软件包，版本号为1.1.3。该安装包针对的是Python版本为3.10的32位和64位系统（cp310表示Python 3.10...
YOLOv8改进策略【YOLO和Mamba】| 替换骨干 Mamba-YOLOv8-T !!! 最新的发文热点
Limiiiing的博客
12-26 306
模块是模型中的一个重要组成部分，其主要作用是在模型的初始阶段对输入图像进行处理，方便后续的特征提取和目标检测。以下是对。
mamba 2 windows安装包，包括causal-conv1d，mamba-ssm， selective-scan-cuda
11-20
参考博客https://blog.csdn.net/yyywxk/article/details/143924743，有问题请加主页vx 注意，python，torch以及cuda版本必须要和博客里一致。 支持算力为7.0-9.0 等目前常见GPU。
UNet(UNet网络的三个实现：大同小异 全是pytorch实现)
09-07
UNet(UNet网络的三个实现：大同小异 全是pytorch实现)，其中UNet文件中包含了原始的分割数据集
2014-2019年很全的关于GAN、uNET、WGAN、BEGAN、WGAN神经网络机器学习图像处理论文
01-12
2014-2019年很全的关于GAN、uNET、WGAN、BEGAN、WGAN神经网络机器学习图像处理论文
深度学习网络学习记录 SRI-Net、改进Unet
weixin_61235989的博客
03-02 2748
在网络解码部分，每次上采样过程包括 两个 3×3 的卷积层，激活函数 ReLU 保持不变，每次上采样操作都使图像尺寸大小加倍， 通道数减半。scSE 注意力模块使 UNet 经典网络总体精度提高 2.9%，F1-Score 提高 0.4%，交并比提高 2.1%，Kappa 系数提高 2.8%，加入全部建筑物提取策略的总体精度提高 3.6%，F1-Srore 提高 2.8%，交并比提高 2.9%，Kappa 系数提高 2.9%，一、SRI-Net（2019）
Unet分割网络魔改那些事儿——篇一
爱CV
06-12 8236
参考极市社区 在图像分割任务特别是医学图像分割中，U-Net[1]无疑是最成功的方法之一，该方法在2015年MICCAI会议上提出，目前已达到四千多次引用。其采用的编码器（下采样）-解码器（上采样）结构和跳跃连接是一种非常经典的设计方法。目前已有许多新的卷积神经网络设计方式，但很多仍延续了U-Net的核心思想，加入了新的模块或者融入其他设计理念。本文对U-Net及其几种改进版做一个介绍。 U-Net和3D U-Net U-Net最初是一个用于二维图像分割的卷积神经网络，分别赢得了ISBI 2015细胞
魔改nnU-Net夺冠！2021 BraTS 脑肿瘤分割竞赛第一名解决方案
阿木寺的博客
12-13 1万+
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童Extending nn-UNet for brain tumor segmentation论文：htt...
Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation
zzzyyy8的博客
09-07 3309
受以处理长序列和全局上下文信息并增强计算效率为特点的Mamba架构（作为状态空间模型SSM）的启发，我们提出了Mamba-UNet，这是一种将医学图像分割中的U-Net与Mamba能力相结合的新型架构。
文献翻译（Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation）
m0_54187478的博客
02-23 5464
在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉变换器（ViT）已经设定了重要的基准。前者擅长通过卷积运算捕捉局部特征，而后者通过利用自注意机制实现了显著的全局上下文理解。然而，这两种架构在有效地建模医学图像中的长程依赖性方面都存在局限性，这是精确分割的关键方面。受Mamba架构的启发，我们提出了Mamba UNet，这是一种将医学图像分割中的U-Net与Mamba的能力协同的新架构。
xLSTM：拳打Transformer，脚踢Mamba？！
鲁班模锤
05-10 2255
​记得在《重新审视神经网络》这篇文章中提及，任何人都可以构建自己心目中的神经网络。在Transformers、Mamba、KAN之后，长短期记忆 (LSTM) 架构的发明者Sepp Hochreiter和他在NXAI的团队推出了一种称为扩展LSTM (xLSTM) 的新变体。
Mamba-inMamba U-Net
03-11
### Mamba-inMamba U-Net 使用指南 #### 安装教程 对于希望安装并使用 Mamba-inMamba U-Net 的用户来说，理解正确的安装流程至关重要。首先应当访问官方发布的页面获取最新版本的 `mamba` 软件包，该链接位于 GitHub 上[state-spaces/mamba/releases][^1]。 考虑到兼容性问题，在安装过程中需要注意 `mamba-ssm` 需要与特定组件一同安装，比如 `casual-conv1d`，并且确保所使用的 CUDA 和 PyTorch 版本相互匹配[^3]。这一步骤可以通过仔细阅读目标仓库中的 `requirements.txt` 文件来确认所需依赖项的具体版本号。 针对 Ubuntu 用户而言，建议直接从 Releases 页面挑选适合当前系统的预编译二进制文件进行部署[^4]。而不仅仅是局限于通过 pip 工具来进行简单的命令行操作，因为后者可能会遇到各种未预见的技术难题[^2]。 #### 解决常见问题 如果在尝试执行 `pip install mamba-ssm` 命令时遇到了困难，则可能是因为环境配置不当或者存在其他潜在冲突所致。此时可以考虑先清理已有的 Python 环境变量设置，并重新创建一个新的虚拟环境后再试一次；另外也可以参照社区反馈寻找相似案例及其解决方案作为参考。 为了更好地支持模型训练过程以及提高性能表现，推荐按照文档指示完成必要的硬件驱动更新工作，特别是显卡驱动程序方面的要求。同时也要留意是否有新的补丁发布用于修复之前发现的安全漏洞或是功能缺陷等问题。 ```bash # 创建并激活新虚拟环境 (Python 3.x) python3 -m venv myenv source myenv/bin/activate # Linux 或 macOS 下 myenv\Scripts\activate # Windows 下 # 升级 pip 到最新版 pip install --upgrade pip setuptools wheel # 根据 requirements.txt 安装所有依赖项 pip install -r path/to/your_requirements_file.txt ``` #### 使用方法概述 一旦成功完成了上述准备工作之后，就可以着手探索如何利用 Mamba-inMamba U-Net 实现图像分割任务了。通常情况下，开发者会提供详细的 API 文档帮助初学者快速入门，其中包括但不限于数据集准备、参数调整策略等方面的内容。此外还可以关注相关论坛上的讨论帖获得更多的实践经验和技巧分享。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值