在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步

U-Net 它不仅在医学图像分割中大放异彩，更是如今大火的 AIGC（如 Stable Diffusion 内部的噪声预测网络）的核心架构之一。2026年甚至未来几年，带你结合 AI 工具开发自己的 U-Net 分割系统，熟悉后，你也可以用于其他领域的任务。本阶段我们将拆解原版论文，了解 U-Net 为什么是这个形状，以及它做出了哪些划时代的贡献。，彻底吃透 U-Net 及其各种“魔改”变体，都是你 CV 进阶之路上不可或缺的一环。你的支持是我持续更新的最大动力！如果本专栏对你有帮助，请不要吝啬你的。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这要求模型具备极强的特征提取和细节辨别能力。传统的U-Net网络虽然通过跳跃连接融合了多尺度特征，但在处理复杂语义和精细边缘时仍有不足。尤其是在早期的浅层网络中，如果使用局部卷积或局部自注意力，往往难以捕获长距离的全局依赖；而如果直接使用全局自注意力，又会因为图像分辨率过高（Token数量巨大）导致难以承受的计算开销。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这要求模型具备极强的特征提取和细节辨别能力。传统的U-Net网络虽然通过跳跃连接融合了多尺度特征，但在处理复杂语义和精细边缘时仍有不足。尤其是在轻量化模型设计中，纯 CNN 模型（如基于 Inverted Residual Block 的网络）受限于静态归纳偏置，缺乏捕获全局上下文的能力；而纯 Transformer 模型虽然具备动态建模长距离依赖的优势，但计算开销巨大。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这要求模型具备极强的特征提取和细节辨别能力。传统的U-Net网络虽然通过跳跃连接融合了多尺度特征，但在处理复杂语义和精细边缘时仍有不足，尤其是在捕获跨通道和跨空间特征时，很多通道注意力机制（如SE）采用了降维操作，导致深层视觉表示信息丢失且增加了计算开销。为了解决这些痛点，本文引入了在计算机视觉领域表现出色的 EMA（Efficient Multi-Scale Attention，高效多尺度注意力）机制。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这要求模型具备极强的特征提取和细节辨别能力。传统的U-Net网络虽然通过跳跃连接融合了多尺度特征，但在处理复杂语义和精细边缘时仍有不足，尤其是在捕获长距离依赖和全局上下文信息时常常受到局部感受野的限制。为了解决这些痛点，本文引入了在计算机视觉领域表现出色的 DAT（Deformable Attention Transformer）中的核心机制——可变形注意力机制（Deformable Attention, 简称 DA）。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这要求模型具备极强的特征提取和细节辨别能力。传统的U-Net网络虽然通过跳跃连接融合了多尺度特征，但在处理复杂语义和精细边缘时仍有不足，尤其是在捕获特征时常常忽略关键的通道与空间位置信息。为了解决这些痛点，本文引入了在计算机视觉领域表现出色的 CBAM（Convolutional Block Attention Module，卷积块注意力模块）机制。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这要求模型具备极强的特征提取和细节辨别能力。传统的U-Net网络虽然通过跳跃连接融合了多尺度特征，但在处理复杂语义和精细边缘时仍有不足，尤其是在捕获跨通道和跨空间特征时，很多通道注意力机制（如SE）采用了降维操作，导致深层视觉表示信息丢失且增加了计算开销。为了解决这些痛点，本文引入了在计算机视觉领域表现出色的 GAM（Global Attention Mechanism，全局注意力机制）。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这要求模型具备极强的特征提取和细节辨别能力。传统的U-Net网络虽然通过跳跃连接融合了多尺度特征，但在处理复杂语义和精细边缘时仍有不足，尤其是在捕获特征时常常忽略位置信息。为了解决这些痛点，本文引入了在计算机视觉领域表现出色的 CA（Coordinate Attention，协调注意力）机制。CA 巧妙地将位置信息嵌入到了通道注意力中，通过水平和垂直两个方向的一维池化，同时捕获长距离依赖和精确的位置坐标。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这要求模型具备极强的特征提取和细节辨别能力。传统的U-Net网络虽然通过跳跃连接融合了多尺度特征，但在处理复杂语义和精细边缘时仍有不足，尤其是在捕获长距离依赖关系时常常力不从心。为了解决这些痛点，本文引入了在计算机视觉领域表现出色的 LSKA（Large Separable Kernel Attention，大核可分离注意力）机制。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这要求模型具备极强的特征提取和细节辨别能力。传统的U-Net网络虽然通过跳跃连接融合了多尺度特征，但在处理复杂语义和精细边缘时仍有不足，尤其对于微小病灶的检测。为了解决这些痛点，本文引入了在目标检测领域大放异彩的 MLCA（Mixed Local Channel Attention，混合局部通道注意力）机制。MLCA 巧妙地融合了局部空间信息和全局通道依赖，通过自适应分配通道和空间权重，增强了对关键特征的表达。

在医学图像分割任务中，病灶区域往往形态各异、边界模糊，且经常与周围组织的对比度较低，这就要求分割模型具备极强的特征提取和辨别能力。传统的U-Net网络虽然通过跳跃连接融合了不同层次的特征，但在处理复杂语义和精细边缘时仍显不足。为了解决这一痛点，本文引入了2024年最新提出的SCSA（Spatial and Channel Synergistic Attention）注意力机制。SCSA模块通过共享的多语义空间注意力（SMSA）提取多尺度的空间先验信息，并以此指导渐进式通道自注意力（PCSA）进行通道重校准。

卷积神经网络（CNN）的核心构建模块是卷积算子，它使网络能够通过在每一层的局部感受野内融合空间和通道信息来构建有信息的特征。大量先前的研究探讨了这种关系的空间成分，试图通过提高整个特征层次中空间编码的质量来增强CNN的表征能力。作者提出了一种新颖的架构单元，称之为“Squeeze-and-Excitation”（SE）块，该块通过显式建模通道之间的相互依赖关系来自适应地重新校准通道特征响应。SE 模块通过显式建模通道间的相互依赖关系来重塑特征。通过全局平均池化（GAP）将每个通道的H×W。

在前面的课程中，我们像搭积木一样手写了 U-Net 的网络架构。很多同学迫不及待地想把自己的图片喂进网络开始“炼丹”。但是，深度学习界有一句名言：“数据决定了模型的上限，而网络结构只是在逼近这个上限。用标注工具标出来的是 JSON 文件，怎么变成 U-Net 需要的黑白掩码（Mask）图？为什么我的 Mask 肉眼看是黑白的，一放进 PyTorch 训练就报？如何快速按 8:2 的比例把几千张图片和标签划分成训练集和验证集？

大家在以后的学术论文或打比赛中，只要遇到分割精度上不去、特征提取不够强的情况，就可以直接把这套代码拿去用。主包在此模型上使用 voc2012 数据集，训练了一个预训练模型权重，大家训练自己的数据集时候可以在此模型上进行迁移学习，可以加快模型训练、提高模型效果和防止模型训练过程中震荡等问题，训练教程看下面这篇文章:手把手带你完成基于Unet的医学图像分割系统设计与实现，Unet网络架构讲解，Unet复现，使用vibe coding工具，开发一个完整系统，包含完整源码用同样的思路，你还可以把骨干网络换成。

恭喜你！到这里，你已经成功手撕了当前 CV 届地位最高的分割架构之一：U-Net。梳理一下，算清楚每一次下采样、上采样时的通道数变化。牢记在forward中，通过torch.cat([左侧特征, 右侧特征], dim=1)实现跳跃连接。📥订阅专栏永久观看，并带训练脚本、画图、完整的可视化系统等源码。！

高质量的图表是征服审稿人和导师的核心。本文带你画深度学习项目中必不可少的四类图表绘制方法，包含Grad-CAM热力图、对比图。以 Unet 模型为例子。下文也给出一键画图代码。

人们普遍认为，深度网络的成功训练需要成千上万个带标注的训练样本。在本文中，我们提出了一种网络和训练策略，它依赖于大量使用数据增强，以便更高效地利用可用的带标注样本。该架构由一个用于捕获上下文的收缩路径（contracting path）和一个支持精确本地化（localization）的对称扩展路径（expanding path）组成。

哈喽，大家好，这里是落花不写码，本次教程讲一下 U-Net 分割篇，U-Net 它是一篇 2015 年发表的论文，那为什么到现在还需要讲呢？因为后续讲到 GAN、扩散模型时候是离不开 U-Net 架构的，所以今天先带大家使用 U-Net 模型完成一些图像分割。