非香农类信息不等式_ICLR 2020 | 北大图灵班满分论文：基于计算约束下有用信息的信息论...

作者 | 许逸伦

编辑 | 丛末

本文是对 ICLR 2020 oral 论文《基于计算约束下的有用信息的信息论 (A Theory of Usable Information Under Computational Constraint)》的解读。

该论文由北京大学2016级图灵班本科生许逸伦，斯坦福博士生Shengjia Zhao, Jiaming Song, Russell Stewart，和斯坦福大学助理教授Stefano Ermon合作完成。在审稿阶段中，该论文获“满分”接收。

Arxiv Link: https://arxiv.org/abs/2002.10689

Openreview Link: https://openreview.net/forum?id=r1eBeyHFDH

1

背景

香农互信息(Mutual Information)是一套影响深远的理论，并且在机器学习中的表示学习(Representation Learning)、信息最大化(Informax)、对比预测性编码(Contrastive Predictive Coding)与特征性选择；和结构学习(Structure Learning)中的贝叶斯网络的构建，均有广泛应用。但香农信息论没有考虑很重要的计算约束方面的问题，并假设了我们有无穷的计算能力。为了突出这个问题，我们考虑以下这个密码学中的例子。

在我们的例子中，有一个带标注的明文数据集，同时有一个相对应的 RSA 加密后的秘文数据集。如果 RSA 的公钥已知，那么由于 RSA 是双射的，根据互信息在双射下的不变性，明文与秘文应该与其标注有着相同的互信息，如下图所示：