如何更好地测量神经网络表示相似性

近期很多研究试图通过对比神经网络表示来理解神经网络的行为。谷歌大脑 Simon Kornblith、Geoffrey Hinton 等人的一项新研究引入了 centered kernel alignment (CKA) 作为相似性指数，并分析 CKA、线性回归、典型相关分析（CCA）等相关方法之间的关系，证明 CKA 优于其他相似性指数。

在机器学习的很多任务中，深度神经网络可以自动从数据中学习强大的特征表示。尽管深度神经网络在多种任务中取得了令人印象深刻的进展，但如何理解和描述神经网络从数据中学习到的表示仍未得到充分研究。之前的工作（例如 Advani＆Saxe (2017)、Amari et al. (2018)、Saxe et al. (2013)）在理解神经网络训练过程的理论动态方面取得了一些进展。这些研究虽然很深刻，但却存在基础局限性，因为它们忽略了训练动态过程和结构化数据之间复杂的相互作用。事实上，神经网络表示会比损失函数提供更多机器学习算法和数据之间的交互信息。

谷歌大脑的这篇论文研究了测量深度神经网络表示相似性的问题。测量表示相似性的有效方法可帮助回答许多有趣的问题，包括：（1）基于不同随机初始化训练得到的相同架构深度神经网络是否学习相似的表示？（2）不同神经网络架构的各个层之间是否可以建立对应关系？（3）相同的神经网络架构从不同的数据集中学习的表示有多相似？

该论文的主要贡献有：

• 讨论了相似性指数的不变性及其对测量神经网络表示相似性的影响。
• 引入了 centered kernel alignment (CKA) 作为一种相似性指数，并分析 CKA、线性回归、典型相关分析（CCA）等相关方法之间的关系。
• 证明了 CKA 能够确定基于不同随机初始化和不同宽度训练的神经网络的隐藏层之间的对应关系，而以前提出的相似性指数在这些场景下是不适用的。
• 验证了网络越宽学习到的表示越相似，并且前几层的相似性比后几层更容易饱和。该研究证明了神经网络中的前几层而非后几层能从不同的数据集中学习到相似的表示。

问题描述

令 X∈R^(n×p_1) 表示 n 个样本的 p_1 个神经元的激活矩阵，Y∈R^(n×p_2) 表示相同的 n 个样本的 p_2 个神经元的激活矩阵。假设这些