跨语种迁移学习
gdzhiwenwu
人生的道路虽然漫长,但紧要处常常只有几处。
展开
-
解读看论文过程中遇到的各种数学概念——跨语种迁移学习
KL-Divergence(KL散度)概念:又叫相对熵,KL 散度是一种衡量两个概率分布的匹配程度的指标,两个分布差异越大,KL散度越大。定义: 其中 p(x) 是目标分布,q(x)是去匹配的分布,如果两个分布完全匹配,那么 D(p||q) = 0。KL散度的结果是非负的。注意点:散度不是距离。因为KL散度不具有交换性,所以不能理解为“距离”的概念,衡量的并...原创 2019-09-17 21:10:59 · 279 阅读 · 0 评论 -
论文——生成模型GANs,VAEs,Flow-based Invertible Model
国庆期间偶然看到一篇关于Unsupervised Blingual Lexicon Induction的文章,与之前看过的文章不同,之前的文章基本都是利用GANs作为生成模型,本论文的生成模型使用了Variational Autoencoder(VAEs,变分子编码)。读完该论文,我脑里想到了一个新思路——能不能找到其他的生成模型用在Bilingual Lexicon Induction上?参...原创 2019-10-04 15:43:38 · 1193 阅读 · 0 评论