【牛津大学博士论文】生成建模：解决模型错误指定和差分隐私中的开放问题...

最新推荐文章于 2024-08-31 00:34:26 发布

数据派THU

最新推荐文章于 2024-08-31 00:34:26 发布

阅读量56

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247643639&idx=3&sn=c607f733a1e8612ca28051ac96e8b9f1&chksm=e8fa10371788bca5aa2b98d79d6d1ae864eebe652777880ee7d07f3cb19c8d2dbb7fbc0728ce&scene=126&sessionid=0

版权

来源：专知
本文约1000字，建议阅读5分钟
在本论文中，我们通过展示四项不同的研究，探讨了模型错误指定和差分隐私下的生成建模。

生成建模已经成为人工智能的一个热门应用。然而，当生成模型被错误指定，或当生成模型估计器被修改以遵守差分隐私等隐私概念时，模型性能可能会受到负面影响。在本论文中，我们通过展示四项不同的研究，探讨了模型错误指定和差分隐私下的生成建模。

我们首先介绍了生成建模的相关工作。随后，我们深入探讨了在模型错误指定和差分隐私挑战下研究生成建模的必要性。

作为初步贡献，我们考虑了用于密度估计的生成建模。处理模型错误指定的一种方法是放宽模型假设。我们展示了这一方法在非参数模型中也具有帮助作用。具体而言，我们研究了一种最近提出的非参数准贝叶斯密度估计器，并发现其强模型假设是有限数据集下表现不佳的原因。我们提出了一种自回归扩展，放宽模型假设，以允许先验特征依赖关系。

接下来，我们考虑了用于缺失值填补的生成建模。在将当前深度生成填补方法分类为Rubin [1976]引入的不可忽略缺失模型类之后，我们扩展了变分自编码器的公式，使其根据深度生成建模文献中尚未研究过的不可忽略缺失模型类进行分解。这些模型显式地对缺失机制进行建模，以防止在缺失值非随机情况下的模型错误指定。

然后，本论文集中于提高差分隐私下的合成数据生成。为此，我们提出了对差分隐私合成数据样本进行差分隐私重要性采样的方法。我们观察到，生成模型越好，重要性采样的帮助越大。接着，我们通过考虑差分隐私扩散模型，进一步提高数据生成质量。我们识别了显著提高DP图像生成器性能的训练策略。

我们在论文的最后进行了讨论，包括对所展示工作的贡献和局限性，并提出了未来工作的潜在方向。