国庆期间偶然看到一篇关于Unsupervised Blingual Lexicon Induction的文章,与之前看过的文章不同,之前的文章基本都是利用GANs作为生成模型,本论文的生成模型使用了Variational Autoencoder(VAEs,变分子编码)。读完该论文,我脑里想到了一个新思路——能不能找到其他的生成模型用在Bilingual Lexicon Induction上?
参考:https://www.cnblogs.com/vpegasus/p/generative_models.html
GANs
GANs的火热最直接的原因,其原理直观,可解释。生成模型的目的常常是为得到数据X的分布p(X)。而常常我们对数据的分布一无所知,甚至很多数据分布是没有解析式的。GANs来求解p(X)时,走了一条不同寻常的路。GANs采用对抗的方式来学习,或者说是模仿(mimic)的方式来学习。GANs有个生成器(G),它的目的是生成可以以假乱真的数据,为了更好的训练G,GANs引入一个判别器(D),它的工作是当一个样本经过它之后,它能判别出样本是真实的数据样本还是生成器生成的样本,即它输入一个值来代表样本为真的程度。正如原文的例子一样,G相当于一个假币制造者,而D 是警察。就在这个互相对抗中,G生成的样本越来越像直实数据,而D的判别能力也越来越高。用公式表示即是: