U2net论文复现-简单解读-以及奇奇怪怪的改进-测试roc以及pr

论文地址：U2net论文地址

显著性目标检测：

Salient ObjectDetetion(SOD)显著性目标检测，就是要把图片中最显著的物体分割出来，所以是二分类任务，只需要背景和前景。

1、Introduce

1.1、目前存在的2个挑战：

1、全卷积网络(FCN)在图像分割中的兴起，显著行目标检测进一步发展，但是许多显著性目标检测都是基于VGG、ResNet等分类网络的。这些模型的预训练网络是基于Image数据集的，与显著性目标的数据分布存在差异，所以这些网络适合分类，不一定适合图像分割。

2、为了计算机能负担得起这些模型，所以随着网络层数的增加，特征图的大小要变小，但是特征图的分辨率对分割是有影响的。

1.2、U2net提出的方案

1. U2net从头开始训练。

1. 加入新的模块获得高分辨率，不会明显增加内存和计算成本。

2、Related works

这一部分列举了一大堆模型，说明深层特征的重要性，特征图分辨率的影响，多尺度特征提取的好处等。

各种卷积块的图片，最后e是U2net的RSU

3、提出的方法

3.1、论文总体架构：

3.2、RSU模块：

每一个RSU其实相当于一个小型的Unet网络，左边第一个绿色是对输入进行卷积，剩下的就是一个unet，只不过这个unet的层数在不同的RSU中不同。

3.3、自己绘制的总体网络图：

解码模块那边的RSU的结果输出后，要经过一个卷积调整通道数，因为要计算损失，所以有来了一个Upsample_like,将他调整和label图片一样大小。d0到d6分别计算交叉熵损失，然后加起来。

4、评估

4.1、论文的评估：

这是论文给出的评估，在大多数指标上，都超过了现有模型。模型大小为176.3MB，轻量版的为4.7MB。

论文里面给出的PR曲线，在DUTS-TE数据集上进行测试

4.2、自己尝试绘制的PR曲线

只使用了30张图片绘制，顺道把ROC曲线也画了一遍。

5、论文总结以及自己对模块的一点点改进

5.1、论文原话：

尽管我们的模型与其他最先进的方法相比取得了优越的结果，但在不久的将来，计算和内存有限的设备（例如手机、机器人等）需要更快和更小的模型，我们将探索不同的技术和架构以进一步提高速度并降低模型大小。此外，需要更大的多样化显着对象数据集来训练更准确和更稳健的模型。

5.2、尝试改进：

尝试将模型改的更小一点，更快一点。U2net网络中RSU模块里面有很多卷积，它们输入通道数和输出通道数相同，如果将这些卷积改进一下，降低一下模型参数，应该也是可行的。

方法：当RSU中使用输入通道数和输出通道数相同的卷积时，只将用一半通道数据进行运算。源代码中的模块叫做REBNCONV，我将自己改进的卷积模块叫做Ghost_REBNCONV,有两重意思，一个是指它和灵魂一样轻，另一方面是形象地描述了张量进入这个模块后，会有一半不参与运算，就像灵魂一样，看不见摸不着。

例子是最好的老师：

例子中原本需要128个卷积核，现在只需要64个卷积核，速度是不是更快了一些，参数量也下降了一下。176MB的模型现在只有150MB，至于效果咋样，拿400个数据集跑一跑，30个做测试。

测试一下pr曲线和roc曲线

不可能像论文中那样来个60万epoch，只是简单的来了100个epoch。

 

后续：

跑400轮，再用400个数据集测试一下pr和roc，并于原来对比：

可以看出roc低一点，pr高了4点左右。改进的有没有效果，还需要大量的实验进行测试。