《Zero-Shot Cross-Media Embedding Learning With Dual Adversarial Distribution Network》论文学习

abstract

首先，提出了零击跨媒体双生成对抗网络体系结构，其中两种生成对抗网络(GANs)用于常见的嵌入生成和表示重构，形成了对偶过程。双gan相互促进对语义和底层结构信息进行建模，从而在异构分布的不同类别上进行泛化，促进相关性学习。其次，将最大均值偏差准则的分布匹配与双GANs相结合，增强了常见嵌入词与类别词嵌入词之间的分布匹配;最后，提出了一种对抗性的媒介间度量约束对媒体间相关信息进行建模，提高语义排序能力

OUR DADN APPROACH

其中Se-GAN和Re-GAN的结构如下所示：

对于每种媒体类型，首先提取原始表示，然后Se-GAN从原始表示生成嵌入，然后Re-GAN转换生成的嵌入以将原始数据表示重构为双重过程。在对抗性训练过程中，均采用最大中间差异（MMD）准则和媒体间指标约束对二者进行了优化。

A problem Definition

对于数据集值利用Dsd 可以看到的类别数据集
test
Duq----》Dud
Dsq----》Dsd

Se-GAN for Common Embedding Generation

通过VGGNet模型提取图像表示，并通过Doc2Vec模型提取文本表示。我们的Se-GAN采用监督学习策略，将类别词嵌入作为监督信息，为了在生成的通用嵌入中建造有效的语义信息。
通过预训练的Word2Vec模型提取类别词嵌入, Se-GAN可以在图像或文本实例的条件下在语义空间中生成公共嵌入。

the detail of Se-GAN
1) Distribution Matching With MMD Criterion
此外，我们将生成的通用嵌入作为伪造，将类别词嵌入视为真实，以捕获语义空间的分布。
受启发的具有最大平均差异（MMD）准则的GAN。给定两个分布P和Q，以及一个核k，则MMD距离定义为

MMD损失通过判别模型中的每一层增强了通用嵌入和类别词嵌入之间的分布匹配，从而可以将知识从词嵌入转移到模型中可见和不可见类别的类别语义信息。
2) Adversarial Inter-Media Metric Constraint:
媒体间的区别性损失将从其他媒体生成的普通嵌入作为假数据，媒介间的生成损失将其他媒介产生的共同嵌入视为真实的，


媒体间的损失试图使生成的公共嵌入无法与哪种媒体类型区分开，从而增强了不同媒体类型之间的数据相关性。

度量约束可以保留跨媒体的相对相似度，从而提高通用嵌入的相似度排名能力，从而提高检索的准确性。

Re-GAN for Representation Reconstruction

Re-GAN的判别损失将原始表示fi和ft视为真实，而重建表示假，定义为


总结，这一片内容很足，loss较复杂，需要慢慢品味，可以跑通源码试一下，仔细了解一下在做笔记，体会会更深！

对网络中Gan的理解还不够深，需要再体会！