深入解读：概念组合性如何提升深度学习模型可解释性

深度学习模型的黑箱特性一直是其发展应用的瓶颈，而概念学习作为一种新兴解释方法，试图将模型的内部表征分解为人类可理解的高级概念，为我们理解模型决策过程提供了一扇窗口。本文将深入探讨概念组合性在提升深度学习模型可解释性方面的重要作用，并介绍一种名为组合性概念提取（CCE）的新方法。

概念组合性：理解模型的关键

概念组合性是指将单个概念组合起来解释样本整体的能力。例如，模型可以识别出图像中的“白色”和“鸟类”概念，但只有当这些概念能够组合成“白色鸟类”时，才能真正解释图像的内容。

然而，现有的无监督概念提取方法往往无法保证概念的组合性。例如，主成分分析（PCA）可以从图像数据集中提取出“白色鸟类”和“小型鸟类”的概念，但将这两个概念简单组合却无法准确地表示“白色小型鸟类”这一复合概念（如图1所示）。

图1： 概念组合性问题示例。PCA提取的“白色鸟类”和“小型鸟类”概念无法组合成“白色小型鸟类”概念，而CCE提取的概念则可以。

CCE：构建可组合的概念表征

为了解决概念组合性问题，本文提出了组合性概念提取（CCE）方法。CCE的核心思想是将概念分组到不同的属性中，并强制不同属性的概念表征在嵌入空间中保持正交性。

CCE采用迭代优化的方法，交替学习子空间和概念向量。具体来说，CCE首先将数据投影到一个子空间中，然后在该子空间内执行球形K均值聚类，得到概念向量。通过迭代优化子空间和概念向量，CCE能够保证不同属性的概念表征接近正交，从而实现概念的组合性。

实验验证：CCE的优势

为了验证CCE的有效性，本文在多个视觉和语言数据集上进行了实验。结果表明，CCE能够提取出比现有方法更具组合性的概念，并且这些概念能够提升下游任务的性能。

例如，在控制实验中，CCE的组合性得分与真实概念表征相当，显著优于其他基线方法（如表2所示）。此外，CCE还能够发现新的、有意义的组合性概念，例如“手中鸟类”（如图5所示）。

图5： CCE发现的组合性概念示例。图a和图b来自CUB数据集，图c和图d来自News数据集。

在下游分类任务中，使用CCE提取的概念训练的线性分类器在多个数据集上都取得了比基线方法更高的准确率（如图6所示）。

图6： 下游分类任务的准确率。

总结与展望

概念组合性是提升深度学习模型可解释性的关键因素。CCE方法通过强制不同属性的概念表征保持正交性，有效地解决了概念组合性问题，并提升了下游任务的性能。未来，我们可以进一步探索更复杂的组合性结构，例如层次化概念和非组合性概念，以进一步提升深度学习模型的可解释性。

参考文献

• Stein, A., Naik, A., Wu, Y., Naik, M., & Wong, E. (2024). Towards Compositionality in Concept Learning. Proceedings of the 41st International Conference on Machine Learning, Vienna, Austria. PMLR 235.
• Andreas, J. (2019). Measuring compositionality in representation learning. arXiv preprint arXiv:1902.07181.
• Kim, B., Wattenberg, M., Gilmer, J., Cai, C., Wexler, J., Viegas, F., et al. (2018). Interpretability beyond feature attribution: Quantitative testing with concept activation vectors (tcav). In International conference on machine learning (pp. 2668–2677). PMLR.