论文阅读笔记
论文题目:StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation
创新点:只需使用一个模型就可以对多个域执行图像到图像的转换,交叉域模型(cross-domain models)需要成对建立不同域之间的模型,如下图所示
starGAN的基本结构如下图所示
Loss函数
Adversarial Loss
L
a
d
v
=
E
x
[
l
o
g
D
s
r
c
(
x
)
]
+
E
x
,
c
[
l
o
g
(
1
−
D
s
r
c
(
G
(
x
,
c
)
)
)
]
,
使
判
别
器
不
能
区
分
真
图
和
假
图
L _{adv} = E_{x} [log D_{src}(x)] +E_{x,c}[log (1 − D_{src}(G(x, c)))]{,使判别器不能区分真图和假图}
Ladv=Ex[logDsrc(x)]+Ex,c[log(1−Dsrc(G(x,c)))],使判别器不能区分真图和假图
Domain Classification Loss
L
c
l
s
r
=
E
x
,
c
′
[
−
l
o
g
D
c
l
s
(
c
′
∣
x
)
]
,
用
于
优
化
D
的
真
实
图
像
的
域
分
类
损
失
L ^r _{cls} = E_{x,c '} [-log D_{cls} (c ' | x)]{,用于优化D的真实图像的域分类损失}
Lclsr=Ex,c′[−logDcls(c′∣x)],用于优化D的真实图像的域分类损失
L
c
l
s
f
=
E
x
,
c
[
−
l
o
g
D
c
l
s
(
c
∣
G
(
x
,
c
)
)
]
,
用
于
优
化
G
的
假
图
像
的
域
分
类
损
失
L ^f _{cls} = E_{x,c} [-log D_{cls} (c | G(x, c) )]{,用于优化G的假图像的域分类损失}
Lclsf=Ex,c[−logDcls(c∣G(x,c))],用于优化G的假图像的域分类损失
Reconstruction Loss
L
r
e
c
=
E
x
,
c
,
c
′
[
∣
∣
x
−
G
(
G
(
x
,
c
)
,
c
′
)
∣
∣
1
]
L_{rec} = E_{x,c,c′}[||x − G(G(x, c), c′)||_1]{}
Lrec=Ex,c,c′[∣∣x−G(G(x,c),c′)∣∣1]
使转换后的图像保留其输入图像的内容,只更改输入的域相关部分
完整的目标函数(Full Objective)
L
D
=
−
L
a
d
v
+
λ
c
l
s
L
c
l
s
r
L _D = −L _{adv} + λ_{cls} L ^r _{cls}
LD=−Ladv+λclsLclsr
L
G
=
L
a
d
v
+
λ
c
l
s
L
c
l
s
f
+
λ
r
e
c
L
r
e
c
L _G = L_{adv} + λ_{cls} L^f _{cls} + λ_{rec} L_{rec}
LG=Ladv+λclsLclsf+λrecLrec