在深度学习不同的任务中,往往会用到类似的trick,虽然NLP算法和图像算法处理的场景不同,但是有很多共同的trick可以起到不错的作用,本文记录不同任务中使用到的相同trick。
NLP任务的Transformer模型和换脸任务deepfake(原始版本)
Transformer的multi-head机制
auto-encoder版本的deepfake的upscale(反卷积)中使用了PixelShuffle,将filter变为1/4,高和宽各变为两倍(完成反卷积)。这个操作实际上是打乱了图像空间依赖性,让网络能更充分地理解图像。
NLP任务的Transformer模型和换脸任务的faceswap-GAN(deepfake-GAN)
Transformer模型里使用了self-attention,faceswap-GAN的encoder和decoder的卷积层之间也用了self-attention机制。
self-attention在GAN中的使用论文(SAGAN):Self-Attention Generative Adversarial Networks