1-26-JigsawGAN: Self-supervised Learning for Solving Jigsaw Puzzles with GAN(无代码)

---做的任务是什么---

拼图：一张图像被切成相同大小的正方块，根据块的信息恢复原始图像。

---本文方法是如何做的---

传统的拼图方法基于块的边界(块上下左右四条边)获取块的关系。这篇文章提出JigsawGAN,用不成对的图像基于GAN的自监督方法解决拼图。设计了一个多任务，一个任务是分类branch分类拼图排序，一个任务是用GAN根据正确的order恢复图像。分类branch是根据打乱的块生成的伪标签约束的。GAN branch专注图像的语义信息。两个branch通过flow-based warp连接的。Flow-based warp 根据分类的结果warp特征到正确的order。提出的方法同时利用了边的信息和整幅图像的语义信息。如果不考虑语义信息的话，有些块容易被混淆(有大量具有相同均匀纹理和颜色的块，如上图)

---网络loss设计---

---Jigsaw loss对于训练分类网络是很重要的。Cross-entropy loss是约束的分布？focal loss (FL)

cross entropy loss用于度量两个概率分布之间的相似性。

---The adversarial loss ensures that the generated image looks similar to the target domain, it is inadequate for a smooth transaction, especially at the boundary of pieces.

---edge loss .images with large PSNR edge scores own small edge loss.因为SSIM的范围在[0,1],用SSIM代替

Q:不成对体现在哪里?

Q:自监督体现在哪里?

自监督在文章中指的是生成伪标签，叫reference labels。

传统自监督学习的具体描述是在Section C1.

Q:伪标签是如何生成的呢？