本文和上一篇show,Attend一样,都是基于attention机制的图像转换。两篇文章的工作大体是相似的,但是这篇文章的代码开源了。
这篇文章和上篇文章一样都是做图像域转换,并且在转换时都想要只关注图像中的前景,达到前景转换而背景不变的效果。
在上一篇blog中已经介绍过了图像域转换,所以这里就直接开始讲作者提出的模型了。
Model
Fs->t表示从S域到T域的转换。
作者定义了两个Attention network As:S->Sa At:T->Ta Sa和Ta为attention map。Sa和Ta和图像的纬度相同,取值范围是[0-1]。
pipeline如下:
- S域的图像s通过As得到attention map Sa,Sa和s按位乘,得到s的前景(attention 部分)Sf。
- Sf 通过Fs->t 转换到T域,再和Sa 按位乘,得到转换到T域图像的前景。
- s和(1-Sa)按位乘得到s的背景(非 attention部分)Sb
- Sb和转换到T域图像的前景相加得到最终的结果s’
Attention-guided generator
上面已经介绍了整个pipeline