信息瓶颈理论-基础与应用

历史沿革与导读

早在2000年，Naftali Tishby就在“The information bottleneck method”一文[1]中提出了信息瓶颈理论，给出了优化问题的数学定义和迭代算法，并且证明了算法的收敛性。
最近深度学习的热潮，也带来了对其可解释性和理论分析的关注。在2015年[2]和2017年[3]的文中，Tishby和他的学生们尝试用信息瓶颈理论用于解释深度学习，发现深度学习训练过程的“特征拟合”和“特征压缩”两个阶段，并且作了可视化分析，也在解释深度学习的细分领域发掘了一个新热点。
2018年，有研究者质疑了上述发现[4]，认为深度学习训练过程未必会有上述两个阶段，也和Tishby在公开平台上进行了讨论，从而又有公众号发文提出对“信息瓶颈理论”的批判性分析。
通过分析若干相关论文，笔者初步总结如下：

• 信息瓶颈理论是对数据压缩的率失真理论的拓展，这一工作早在2000年完成，并且有严格的形式化分析和证明，其理论本身的严谨性不存在质疑。
• 信息瓶颈理论运用于深度学习的解释，不论是否发现“特征拟合”和“特征压缩”两个阶段，都是有益的尝试和有应用价值的，学术泡沫是大家后续吹出来的。
• 信息瓶颈理论的实用化问题集中在训练过程的互信息估计。这个问题在信息论领域早已有若干基础，也有文献已经把相关基础整合到深度学习领域。
  下面，笔者将简要介绍信息瓶颈理论的基础、在解释深度学习训练中的应用、以及在理论实用化等三个方面内容。

信息瓶颈理论：基础与概述

有部分公众号关注了信息瓶颈理论较新的应用，特别是对深度神经网络机理的解释，因此又回溯到了2000年的那篇论文[1]。例如，从