Unsupervised Attention-guided Image-to-Image Translation 解读

本文和上一篇show,Attend一样，都是基于attention机制的图像转换。两篇文章的工作大体是相似的，但是这篇文章的代码开源了。

---

这篇文章和上篇文章一样都是做图像域转换，并且在转换时都想要只关注图像中的前景，达到前景转换而背景不变的效果。
在上一篇blog中已经介绍过了图像域转换，所以这里就直接开始讲作者提出的模型了。

---

Model

Fs->t表示从S域到T域的转换。
作者定义了两个Attention network As：S->Sa At：T->Ta Sa和Ta为attention map。Sa和Ta和图像的纬度相同，取值范围是[0-1]。
pipeline如下：

• S域的图像s通过As得到attention map Sa，Sa和s按位乘，得到s的前景(attention 部分)Sf。
• Sf 通过Fs->t 转换到T域，再和Sa 按位乘，得到转换到T域图像的前景。
• s和(1-Sa)按位乘得到s的背景(非 attention部分)Sb
• Sb和转换到T域图像的前景相加得到最终的结果s’

---

Attention-guided generator

上面已经介绍了整个pipeline