信息瓶颈理论-笔记

• 什么是信息瓶颈理论

信息瓶颈（英语：information bottleneck）理论是信源压缩的率失真理论的一种拓展。通俗讲：

由于没有先验知识，于是只好都记住，但是可以消除数据本身的冗余（如huffman编码）。这个是最传统的数据压缩，如果允许压缩时失真，对应的是率失真理论：给定失真下可获得的最低压缩码率，即在失真和压缩码率之间权衡。

如果有先验知识，比如数据是带标签的，那消除数据本身的冗余之外，还“遗忘（压缩）”与标签无关的信息（与学习任务无关的冗余），对应的就是信息瓶颈理论：在保留关于标签相关信息和获得高效的压缩之间权衡。

 

可以看出，率失真理论和信息瓶颈理论都是考虑在一定失真前提下，尽量降低对信源编码的码率（即X_hat与X的互信息），β越小所对应的压缩率越高。区别在于：

率失真理论：编码时没有考虑关于信源X的外部信息，只关注编码后的X_hat与相对原始数据X之间的距离，且距离越大，失真越大。
信息瓶颈理论：考虑了信源X中蕴含了关于Y的相关信息，因此对失真的定义为X_hat与外部数据Y之间的互信息（可转换为KL散度计算），且互信息越大，失真越小。因此，信息瓶颈理论可以看作率失真理论的一种特例。
如果要解释下数据公式表达，下面为补充说明：
D_KL：Kullback-Lei