Text to image论文精读DR-GAN：分布正则化的生成对抗网络 Distribution-Regularization-for-Text-to-Image-Generation(1)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

)

)

)

\operatorname{Mask}_{i}^{Q}=\operatorname{Sig} \cdot\left(\operatorname{Conv}_{1 \times 1}^{2}\left(\operatorname{ReLU}\left(\operatorname{Conv}_{3 \times 3}^{1}\left(Q_{i}\right)\right)\right)\right)

MaskiQ​=Sig⋅(Conv1×12​(ReLU(Conv3×31​(Qi​))))

• RIRM实数图像重建模块:包含一个编码器和一个解码器。编码器以实像

I

i

∗

I_i^*

Ii∗​作为输入，输出实像特征

H

i

∗

H_i^*

Hi∗​。解码器取实像特征

H

i

∗

H_i^*

Hi∗​，利用重构损失函数

∥

R

I

R

M

(

I

i

∗

)

−

I

i

∗

∥

1

\left|R I R M\left(I_{i}^{{*}\right)-I_{i}}{*}\right|_{1}

∥RIRM(Ii∗​)−Ii∗​∥1​对实像进行重构，解码器和生成模块

G

0

G^0

G0组成了Siamese网络，可以为SDM提供高质量的真实图像特征。

• Semantic Disentangling Loss 语义解缠损失：为了驱动SDM更好地区分

Q

i

Q_i

Qi​和

H

i

−

1

H_{i−1}

Hi−1​的关键信息和非关键信息。作者进一步设计了一个新的语义解缠损失(SDL)，对于图像特征和上下文特征：

L

S

D

L

H

i

=

S

P

(

∥

μ

(

H

i

)

−

μ

(

H

i

∗

)

∥

−

∥

μ

(

H

i

−

)

−

μ

(

H

i

∗

)

∥

)

S

P

(

∥

σ

(

H

i

)

−

σ

(

H

i

∗

)

∥

−

∥

σ

(

H

i

−

)

−

σ

(

H

i

∗

)

∥

)

\begin{aligned} \mathcal{L}_{S D L}^{H_{i}}= & S P\left(\left|\mu\left(H_{i}^{{+}\right)-\mu\left(H_{i}}{*}\right)\right|-\left|\mu\left(H_{i}^{{-}\right)-\mu\left(H_{i}}{*}\right)\right|\right)+S P\left(\left|\sigma\left(H_{i}^{{+}\right)-\sigma\left(H_{i}}{*}\right)\right|-\left|\sigma\left(H_{i}^{{-}\right)-\sigma\left(H_{i}}{*}\right)\right|\right) \end{aligned}

LSDLHi​​=​SP(

​μ(Hi+​)−μ(Hi∗​)

​−

​μ(Hi−​)−μ(Hi∗​)

​)+SP(

​σ(Hi+​)−σ(Hi∗​)