TPAMI 2024 | 多视图学习的变分蒸馏

题目：Variational Distillation for Multi-View Learning

多视图学习的变分蒸馏

作者：Xudong Tian; Zhizhong Zhang; Cong Wang; Wensheng Zhang; Yanyun Qu; Lizhuang Ma; Zongze Wu; Yuan Xie; Dacheng Tao

---

摘要

信息瓶颈（IB）通过揭示每个视角包含的各种成分，为多视图学习提供了信息理论原则。这突出了捕捉其不同角色以实现视图不变性和预测表示的必要性，但由于建模和组织无数互信息（MI）项的技术难度，仍未得到充分探索。最近的研究表明，充分性和一致性在多视图表示学习中起着关键作用，可以通过变分蒸馏框架来保持。但当其推广到任意视角时，由于一致性互信息项变得复杂，这种策略失败了。本文提出了多视图变分蒸馏（MV2D），解决了上述限制，实现了广义多视图学习。独特的是，MV2D可以识别有用的一致信息，并根据其泛化能力优先处理不同成分。这引导了一种分析且可扩展的解决方案，以实现充分性和一致性。此外，通过严格重新制定IB目标，MV2D解决了MI优化中的困难，充分实现了信息瓶颈原理的理论优势。我们在多样任务上广泛评估了我们的模型，以验证其有效性，显著的增益提供了在严格的信息理论原则下实现广义多视图表示的关键见解。

关键词

• 多视图学习
• 信息瓶颈
• 互信息
• 变分推理</