---做的任务是什么---
拼图:一张图像被切成相同大小的正方块,根据块的信息恢复原始图像。
---本文方法是如何做的---
传统的拼图方法基于块的边界(块上下左右四条边)获取块的关系。这篇文章提出JigsawGAN,用不成对的图像基于GAN的自监督方法解决拼图。设计了一个多任务,一个任务是分类branch分类拼图排序,一个任务是用GAN根据正确的order恢复图像。分类branch是根据打乱的块生成的伪标签约束的。GAN branch专注图像的语义信息。两个branch通过flow-based warp连接的。Flow-based warp 根据分类的结果warp特征到正确的order。提出的方法同时利用了边的信息和整幅图像的语义信息。如果不考虑语义信息的话,有些块容易被混淆(有大量具有相同均匀纹理和颜色的块,如上图)
---网络loss设计---
---Jigsaw loss对于训练分类网络是很重要的。Cross-entropy loss是约束的分布?focal loss (FL)
cross entropy loss用于度量两个概率分布之间的相似性。
---The adversarial loss ensures that the generated image looks similar to the target domain, it is inadequate for a smooth transaction, especially at the boundary of pieces.
---edge loss .images with large PSNR edge scores own small edge loss.因为SSIM的范围在[0,1],用SSIM代替
Q:不成对体现在哪里?
Q:自监督体现在哪里?
自监督在文章中指的是生成伪标签,叫reference labels。
传统自监督学习的具体描述是在Section C1.
Q:伪标签是如何生成的呢?