负指数分布的性质_蚂蚁金服：如何训练可自动调整负样本采样器？｜NIPS 2019

作者 | 蚂蚁金服

编辑 | Jane

出品 | AI科技大本营(ID：rgznai100)

【导读】一年一度的国际顶级学术会议NeurIPS2019将于12月8日至14日在加拿大温哥华举行。作为人工智能和机器学习领域最顶级的盛会之一，NeurIPS每年都会吸引来自全世界的AI大牛、学者、技术爱好者参会。本文是蚂蚁金服的技术专家对入选论文《使用对抗式动态系统嵌入的深度指数族分布估计》做出的深度解读。

前言

指数分布族 (exponential family)，同时又被称为能量模型(energy-based model)，是一类广泛应用的生成式概率模型。通过和深度模型结合，指数分布族能够灵活的拟合各种数据分布。由于指数分布族的灵活性，目前已经有越来越多的研究者利用指数分布族对各种结构数据进行建模。例如，[1] 将能量模型用于对蛋白质结构预测，从而更好的指导药物设计和材料科学；[2] 将能量模型用于语言模型及句子生成；[3] 将能量模型用于基于模型的强化学习；等等。这些都展示了指数族分布能量模型作为有别于变分自编码器(variational autoencoder)和对抗式生成模型(generative adversarial network)之外，另一种截然不同的生成式模型的能力和潜在应用。但是，如何有效的求解通用指数分布族的最大似然估计(MLE)以及如何高效的进行推断仍然是一个亟待解决的问题。

摘要

针对通用深度指数分布族有效求解最大似然估计这一问题，我们利用最大似然的primal-dual reformulation，将原始MLE中不可解的log-partition 函数重写成能量函数(potential function)针对对一个可学习的负样本采样器(negative sampler)的期望。通过这样的形式，我们可以同时学习能量函数以及负样本采样器。相比现存的方法