AdaIN(Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization)解析复现pytorch
论文必应上直接搜就有,但是下载可能还是需要科学上网
主要内容
这篇是很经典也很厉害的一篇图像风格迁移,核心就是论证了图像的风格主要是由 I n s t a n c e N o r m a l i z a t i o n Instance Normalization InstanceNormalization控制的
核心就在这个公式里,详细的可以看论文 B a c k g r o u n d Background Background部分,分析的很详细。主要思想就是从风格图像中获取到 σ 和 μ \sigma和\mu σ和μ,就可以控制内容图像的风格。
然后就是一个简单的网络结构。
VGG用来做特征提取,是一个比较基础的网络,不知道可以先搜一下看看。比较特别的两点都在loss, L c L_c Lc是用AdaIN风格融合后的特征计算而不是VGG特征提取后的,这样可以更快的收敛。 L s L_s Ls也是使用VGG的中间特征来计算的。详细的可以看代码。
paperwithcode上找的代码,原作者是用torch写的,这个pytorch复现的挺好的
https://github.com/irasin/Pytorch_AdaIN/
要是不会测试,可以评论或者私信,之后有时间可以写一个针对这个代码的test,训练的话论文用的数据集还是稍大一点的,也可以自己随便找一些。