语义分割之Unet

前言

随着计算机视觉技术的不断发展，图像分割已经成为了计算机视觉领域的一个重要研究方向。在众多的图像分割算法中，语义分割作为一种能够对图像中的每个像素进行分类的方法，具有很高的实用价值。近年来，基于深度学习的语义分割方法取得了显著的成果，其中Unet网络作为一种特殊的卷积神经网络结构，在语义分割任务中表现出了优越的性能。

Unet网络最初是由Ronneberger等人在2015年的论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》中提出的，用于生物医学图像分割任务。由于其简单且有效的网络结构，Unet网络很快被应用于其他领域的图像分割任务，如遥感图像分割、工业检测等。本文将以博客的形式，详细介绍Unet网络的原理、实现。

论文地址：https://arxiv.org/abs/1505.04597

 github地址：GitHub - milesial/Pytorch-UNet: PyTorch implementation of the U-Net for image semantic segmentation with high quality images

一、unet网络结构

Unet网络非常的简单，左半部分就是特征提取（下采样），右半部分是上采样。在一些文献中把这种结构叫做编码器-解码器结构（Encoder-Decoder），由于网络的整体结构像一个大写的英文字母U，所以叫做U-net。

Encoder：左半部分，由两个3x3的卷积层+RELU+一个2x2的maxpooling层组成一个下采样的模块；
Decoder：右半部分，由一个上采样的卷积层（去卷积层）+特征拼接concat+两个3x3的卷积层（ReLU）反复构成；

从上图中，我们可以看到输出图像与输入图像尺寸不一致，在别的博客上找到比较认同的解释，如下：

在医学领域，图像的分割精度要求非常高，所以对分割的图像需要做一些处理。一般是输入的被分割的原图较大，而输出的分割图只取中间的部分。这是因为卷积的时候，卷积核对于图像外侧的信息关注比例较少，为了减少误差，从而截掉了外侧的图像。

 另外一个原因是医学图像较大时，可以被裁剪成多个小图进行分割任务。被裁剪的各个图像边缘时有重合区域的，也是为了提高分割精度。让两张图的拼接部位的分割更加精确。所以模型输入的是一张大图，而标签是被截取后的小图，自然网络也就需要设计成输入是大图，输出是小图的结构，这样输出才和标签的大小一致，好和标签做损失

我们也可以令输出图像与输入图像尺寸一致。

二、对于unet的一些个人理解

1、使用上采样产生的特征图与左侧特征图进行concatenate操作，即进行通道间的拼接，可以形成更厚的特征（例如你上采样之前通道数是1024，上采样后通道数变成了512，,在加上左侧特征图的又变回了1024个通道数啦），当然这样会更加消耗显存

2、另外一点就是每一次下采样提取特征，得到更关注本质的特征的同时，也必然会损失一些特征，而失去的这些特征并不能从上采样中找回，因此通过特征的拼接，可以实现将丢失的特征找回

3、在进行跳跃连接时（skip connnection）会将左侧特征图周围进行裁剪，例如上图最后一层将64 × 64大小的特征图 裁剪成56 × 56大小，然后再与上采样产生的特征图进行cat操作，缩放会使图像位置发生偏移

三、代码实现：

没空，下次再来

参考链接：
1、https://blog.csdn.net/liu1073811240/article/details/110682839

2、https://blog.csdn.net/qq_34107425/article/details/110184747?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170184648116800226575766%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=170184648116800226575766&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-2-110184747-null-null.142^v96^pc_search_result_base5&utm_term=unet&spm=1018.2226.3001.4187

3、UNet详解（附图文和代码实现）_liiiiiiiiiiiiike的博客-CSDN博客