信息保留：学习补充特征的全新原则

在人工智能的迅速发展中，深度神经网络（DNN）已经在多个领域取得了突破性的进展，包括计算机视觉、自然语言处理和语音识别等。然而，这些模型在处理数据时常常面临一个重要问题：如何有效地提取和利用信息。在这篇文章中，我们将探讨一项名为“信息保留”的新原则，以及它如何通过学习补充特征来提升模型的预测能力。

信息瓶颈的局限性

传统上，信息瓶颈原则被广泛应用于深度学习中，以压缩输入信息并提取出与标签相关的关键信息。该原则的核心思想是，在输入数据和其表示之间最大化互信息，同时最小化输入数据与表示之间的互信息。这种方法在许多场景中都取得了良好的效果。然而，当面临低资源或分布不一致的数据集时，信息瓶颈却可能会抑制一些有用的冗余特征，使得模型在测试数据上的表现受到限制。

例如，在一个简单的分类任务中，模型可能仅依赖于某些关键特征进行预测，而忽略了其他可能的辅助特征。这在训练过程中可能是有效的，但在测试过程中，当遇到新的数据分布时，模型的预测能力可能会显著下降。

信息保留原则的提出

为了克服信息瓶颈的局限性，研究者提出了信息保留原则。该原则强调，在做出预测时，保留尽可能多的相关信息是更加有利的。换句话说，与其压缩输入信息，不如保留那些冗余且相关的信息，以增强模型的泛化能力。

为了实现这一目标，我们设计并实施了一个三阶段的监督学习框架，称为“信息保留通过学习补充特征”（InfoR-LSF）。这一框架的核心思想是，通过共同学习主特征和补充特征，消除对补充特征的抑制，从而提升模型的整体表现。

三阶段学习框架

第一阶段：主特征的初始训练

在第一阶段，任务是训练一个初始编码器并获得主特征。这一过程旨在最大化主特征与标签之间的互信息。具体而言，目标公式为：

$$\text{maximize }I(z_M;y)-\beta \cdot I(z_M;x)$$

这里，$z_M$ 是主特征，$y$ 是标签，$x$ 是输入数据，而 $\beta$ 是控制信息压缩的系数。通过这一阶段，模型能够有效捕捉与标签相关的核心特征。

第二阶段：输入特征的显著性擦除

在第二阶段，我们的目标是识别并擦除与主特征 $z_M$ 相关的显著输入特征。通过删除这些显著特征，我们生成一个修改后的输入，用于后续的训练过程。这个过程可以形式化为：

$$x^{\prime }=\text{MASK}(x)=x/x_{sf}$$

其中，$x_{sf}$ 是指主特征学习到的最显著特征。我们通过计算损失梯度的范数来选择显著特征。显著特征的选择旨在确保剩余的输入仍然包含与标签相关的信息。

第三阶段：主特征和补充特征的联合训练

在第三阶段，整个模型将被联合训练，同时学习主特征 $z_M$ 和补充特征 $z_S$。在这一阶段，补充特征的学习目标是：

$$\text{maximize }I(z_S;y)-\beta \cdot I(z_S;x)-\alpha \cdot I(z_S;x|x^{\prime })$$

这里，$\alpha$ 是控制信息抑制的系数。这一过程的核心在于，补充特征需要抑制对已经由主特征学习到的显著特征的学习，从而确保补充特征能够捕捉到与标签相关的新信息。

实验与结果

我们在多个低资源设置下对InfoR-LSF方法进行了广泛的实验。实验结果表明，InfoR-LSF在多个任务上均优于其他对比方法，包括图像分类和文本分类任务。例如，在CIFAR10分类任务中，当训练数据量从50到50000时，InfoR-LSF的测试准确率稳步提升，表明补充特征在低资源情况下的有效性。

在文本分类任务中，InfoR-LSF在IMDB和YELP数据集上也取得了显著的性能提升。这些实验结果证明了信息保留原则的有效性，以及通过学习补充特征来增强模型泛化能力的潜力。

结论

信息保留原则为深度学习模型提供了一种全新的视角，强调在做出预测时保留尽可能多的相关信息。通过学习补充特征，InfoR-LSF方法不仅提升了模型在训练数据上的表现，还增强了其在分布不一致数据上的泛化能力。未来，我们期待这一原则能够为更多领域的模型设计和训练提供指导。

参考文献

1. Zhipeng Xie, Yahe Li. Information Retention via Learning Supplemental Features. ICLR 2024.
2. Tishby, N., & Zaslavsky, N. (2015). Deep learning and the information bottleneck principle.
3. Alemi, A. A., Fischer, I., Dillon, J. V., & Murphy, K. P. (2017). Variational information bottleneck.
4. Linsker, R. (1988). Self-organization in a perceptual network.
5. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.