【论文分享】U-Net: Convolutional Networks for Biomedical Image Segmentation

概要

U-net架构（以最低分辨率为32x32像素为例）。每个蓝色框表示一个多通道特征图。通道数显示在框的顶部。x-y尺寸标注在框的左下角。白色框表示复制的特征图。箭头表示不同的操作。

U-Net 是一种经典的卷积神经网络架构，最初由 Olaf Ronneberger 等人在 2015 年提出，用于生物医学图像分割任务。它具有对称的 “U” 形结构，适合处理像素级别的图像分割问题。下面通过步骤解释什么是 U-Net，以及它的构成和工作原理。

---

1. 什么是 U-Net？

U-Net 是一种全卷积网络（Fully Convolutional Network, FCN），设计用于图像分割任务。它的主要目的是对每个像素进行分类（如标记某像素属于前景还是背景）。U-Net 的架构呈现对称的 “U” 形，由编码器和解码器两部分组成。

---

2. U-Net 的基本组成

U-Net 的架构分为两个部分：

• 编码器（Encoder）：负责提取图像的特征，通常由卷积和池化操作构成。
• 解码器（Decoder）：逐步恢复图像的空间分辨率，生成与输入图像相同大小的分割图。

此外，U-Net 还引入了跳跃连接（Skip Connections），用来结合编码器中提取的特征和解码器中的特征。

---

3. U-Net 的工作原理

Step 1: 输入图像

• 输入一张二维（或三维）图像。
• 图像的尺寸通常固定，比如：$256\times 256$

---

Step 2: 编码器提取特征

• 编码器由一系列卷积层、ReLU 激活函数和 **最大池化层（Max Pooling）**组成。
• 每次通过卷积提取特征后，池化层会将图像的空间分辨率减半。
• 编码器逐渐捕捉图像的全局语义信息，同时丢失部分位置信息。

---

Step 3: 解码器逐步恢复空间分辨率

• 解码器由**反卷积（转置卷积）或上采样层（Up-sampling）**和卷积层组成。
• 通过上采样操作，解码器逐步将低分辨率的特征图还原为输入图像的原始尺寸。
• 解码器负责生成分割图，预测每个像素的类别。

---

Step 4: 跳跃连接合并特征

• 为了结合编码器中高分辨率的特征和解码器中的低分辨率特征，U-Net 引入了跳跃连接。
• 跳跃连接将编码器中对应的特征图与解码器中的特征图拼接（通常是按通道维度）。
• 这种设计能够保留更多的细节信息，提升分割精度。

---

Step 5: 最终输出分割图

• 解码器最后输出一个与输入图像相同大小的特征图，每个像素值表示该像素属于某个类别的概率。
• 如果是二分类任务（如前景和背景），输出为单通道的概率图；如果是多分类任务，输出为多通道图像（每个通道对应一个类别的概率）。

---

4. 结构细节

编码器部分

• 每个卷积模块由两个 $3\times 3$ 卷积层组成，后接 ReLU 激活函数。
• 使用 $2\times 2$ 的最大池化操作降低分辨率。

解码器部分

• 每个解码模块由一个上采样操作（通常是反卷积）和一个卷积模块组成。
• 在上采样后的特征图中加入来自编码器的跳跃连接的特征图。

---

5. U-Net 的关键特点

1. 对称性：U-Net 是对称的，编码器和解码器结构相对对称，呈现 “U” 形。
2. 跳跃连接：融合了高分辨率和低分辨率特征，使分割结果更加准确。
3. 全卷积：所有层都是卷积层，避免了全连接层对输入大小的限制。
4. 高效性：在分割任务中具有较高的效率和精度，特别适合生物医学图像。

---

6. 应用场景

• 医学图像分割（如分割肿瘤区域、器官轮廓等）
• 遥感图像分析（如分割道路、建筑物等）
• 自动驾驶（如分割行人、车辆等）
• 语义分割任务（如场景理解）