快速读论文----CKA----Similarity of Neural Network Representations Revisited

摘要： 最近的工作试图通过比较层之间和不同训练模型之间的表示来理解神经网络的行为。我们研究了基于典型相关分析（CCA）的比较神经网络表示的方法。我们证明了CCA属于用于测量多元相似性的统计量家族，但是CCA和任何其他对可逆线性变换不变的统计量都不能测量比数据点数量更高维度表示之间的有意义相似性。我们引入了一个相似性指数来度量代表性相似矩阵之间的关系，并且不受此限制。该相似性指数相当于中心核对齐（CKA），也与CCA密切相关。与CCA不同的是，CKA可以可靠地识别不同初始化训练的网络中表示之间的对应关系。

 

Transformer 眼中世界 Vs. CNN 眼中世界 CKA（Centered Kernel Alignment）方法_taoqick的专栏-CSDN博客

谷歌：一篇论文，让研究者吃我三份安利 - 知乎

ICML 2019 | Hinton等人新研究：如何更好地测量神经网络表示相似性_zhuiqiuk的专栏-CSDN博客

CKA-Centered-Kernel-Alignment/CKA.ipynb at master · yuanli2333/CKA-Centered-Kernel-Alignment · GitHub

（可以用图表的形式做， 也可以用attention的形式做）