深度学习算法在不同任务中的使用到的相同feature/trick合集（持续更新）

在深度学习不同的任务中，往往会用到类似的trick，虽然NLP算法和图像算法处理的场景不同，但是有很多共同的trick可以起到不错的作用，本文记录不同任务中使用到的相同trick。

NLP任务的Transformer模型和换脸任务deepfake（原始版本）

Transformer的multi-head机制

auto-encoder版本的deepfake的upscale（反卷积）中使用了PixelShuffle，将filter变为1/4，高和宽各变为两倍（完成反卷积）。这个操作实际上是打乱了图像空间依赖性，让网络能更充分地理解图像。

NLP任务的Transformer模型和换脸任务的faceswap-GAN（deepfake-GAN）

Transformer模型里使用了self-attention，faceswap-GAN的encoder和decoder的卷积层之间也用了self-attention机制。

self-attention在GAN中的使用论文（SAGAN）：Self-Attention Generative Adversarial Networks

人脸识别任务如insightface（arcface）和换脸任务faceswap-GAN都使用了MTCNN来检测定位和摆正人脸

InfoGAN中求L1(G,Q)时用到了monte-carlo simulation，蒙特卡洛估计在强化学习里经常用到，如alpha-go中用于走子时的估计。