U2-net网络详解

ThreeStones1029

已于 2024-10-24 10:21:28 修改

阅读量1.3w

点赞数 8

分类专栏：语义分割文章标签：人工智能深度学习卷积神经网络 1024程序员节

于 2023-01-27 21:08:40 首次发布

本文链接：https://blog.csdn.net/SL1029_/article/details/128772941

版权

语义分割专栏收录该内容

5 篇文章 2 订阅

订阅专栏

学习视频：U2Net网络结构讲解_哔哩哔哩_bilibili

论文名称：U2-Net: Goging Deeper with Nested U-Structure forSalient Object Detetion

论文下载地址：https://arxiv.org/abs/2005.09007

官方源码（Pytorch实现）：GitHub - xuebinqin/U-2-Net: The code for our newly accepted paper in Pattern Recognition 2020: "U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection."

介绍

U2-net是阿尔伯塔大学（University of Alberta）在2020年发表在CVPR上的一篇文章。该文章中提出的U2-net是针对Salient ObjectDetetion(SOD)即显著性目标检测任务提出的。而显著性目标检测任务与语义分割任务非常相似，只不过显著性目标检测任务是二分类任务，它的任务是将图片中最吸引人的目标或区域分割出来，故只有前景和背景两类。

如上图，是这个任务结果比较

第一列为原始图像，第二列为GT，第三列为U2-net的结果、第四列为轻量级的U2-net结果，其他列为其他比较主流的显著性目标检测网络模型，可以看到不管是U2-net还是轻量级U2-net结果都比其他模型更出色。

一、前言

SOD任务是将图片中最吸引人的目标或者区域分割出来，这相当于语义分割中的二分类任务

这是一张在ECSSD数据集上比较U2-net与其他主流模型的结果图，主要比较累模型的大小以及MaxF measure指标

通过对比能发现U2-net不管在模型大小还是maxF measure效果都很好，图中红色星为标准的模型，蓝色星的为轻量级的模型

二、网络结构解析

如图所示，网络结构为大型的U-net结构的每一个block里面也为U-net结构，因此称为U2-net结构

在原文中作者称每一个block为ReSidual U-block

图中block其实分为两种，一种是Encoder1到Encoder4加上Decoder1到Decoder4这八个结构相似，Encoder5与Encoder6，Decoder5又是另外一种结构。

第一种block

在Encoder阶段，每通过一个block后都会通过最大池化层下采样2倍，在Decoder阶段，通过每一个block前都会用双线性插值进行上采样

论文作者给出了block的结构，如下图

这个block称为RSU-7,7是因为有7层，绿色代表卷积+BN+ReLU，蓝色代表下采样+卷积+BN+ReLU,紫色代表上采样+卷积+BN+ReLU，在RSU-7中下采样了5次，也即把输入特征图下采样了32倍，同样在Decoder阶段上采样了32倍还原为原始图像大小。

下图为视频作者为了更清楚的解释RSU-7,重新绘制了它的结构，重新加入了shape这个特征，让结构更加清晰，具体细节可以参考U-net网络。

事实上RSU-7对应的是整体网络结构中的Encoder1和Decoder1,RSU-6对应的是整体网络结构中的Encoder2和Decoder2,RSU-5对应的是整体网络结构中的Encoder3和Decoder3,RSU-4对应的是整体网络结构中的Encoder4和Decoder4(如下图所示)，相邻block差的是一次下采样和上采样，例如RSU-7里面是下采样32倍和上采样32倍，RSU-6是上采样16倍和下采样16倍。