visod 流程图_SOD-MTGAN(4)_思考_ECCV2018

本笔记记录目标检测中使用到生成对抗思想的文章：ECCV2018_SOD-MTGAN；

我对GANs的理解非常浅薄，会有很多不甚了解的地方，望海涵；传说中的阿卜杜拉国王科技大学、哈工大、中科院软件所联合作品，和MB-FCN、FaceGANs是同一作者；

名词定义：

1 SOD：small object detect，小尺度目标检测；

2 SOD-MTGAN：novel unified end2end multi-task GANs，本文提出的基于GANs的目标检测算法，G重建低分辨率RoI图像至高分辨率，D是multi-task，不仅指导G重建出更高质量的高分辨率RoI图像(training阶段使用，inference阶段就不需要该分支的任务了，直接对G重建后的目标图像做bbox cls、reg即可)，并基于重建后的高分辨率目标图像，同时完成bbox cls、reg任务，可结合fig 2理解；

1 SOD-MTGAN总结

1 中 / 大尺度目标检测已经被攻克得差不多了，但小尺度目标，受限于缺乏足够的目标特征信息，使之很难从背景中区分出来，且小尺度目标一般都是低分辨率、模糊不清的，因此检测性能一般；

2 为解决小尺度目标检测难题，本文提出了SOD-MTGAN：生成器G中包含SRN(Super-Resolution Network)，将模糊的小尺度RoI图像上采样重建出精细的大尺度RoI图像，并尽可能恢复出目标的细节信息，以进行更精准的目标检测；判别器D是一个multitask network，对上采样重建后的大尺度图像做三个任务：real / fake score(真实的高分辨率图像 vs G生成的 “伪造” 高分辨率图像)、object category scores(pred bbox cls)、pred bbox reg offsets；

3 为保证G能从低分辨率图像中重建出更多的目标细节，以便于D中的bbox reg、cls任务，训练期间，D中的bbox cls、reg loss也将通过反向传播方式传回G，以监督G的训练；

4 从fig 3中可知SOD-MTGAN对低分辨率图像重建效果还是挺好的，从table 4、fig 4中可知，SOD-MTGAN性能棒棒哒，取得了sota；

2 用于小尺度目标检测的MTGAN

本节首先介绍经典的GANs算法，本文提出的SOD-MTGAN如fig 2；再详细介绍SOD-MTGAN的各个子模块，和分别用于训练生成器、判别器的损失函数；

2.1. GAN

GANs通过生成对抗的方式训练生成器G，在训练过程中同时学习生成器G、判别器D，二者相互对抗，交替学习；生成器G通过训练生成 “伪造” 样本，来让判别器D无法辨别(fool D)， 判别器D通过