BNB 网络缝合Revisiting Model Stitching to Compare Neural Representations

读NIPS2021论文 Revisiting Model Stitching to Compare Neural Representations

目录

摘要

配图

局限

未来工作

---

摘要

文章重新研究和扩展了model stitching方法，来研究神经网络的内部representation。给定两个已经训练好的参数已固定的网络A和B，作者考虑这样一种stitched model：将A的bottom layer和B的top layers缝合在一起组成一个新的模型。作者认为stitching是一个强大的且被低估的工具，效果在一些方面胜过目前的类似center kernel algnment （CKA）。通过实验，作者利用stitching来得到量化“好网络学到相似的表示”的验证。同样结构的网络，通过不同训练方法如监督、自监督学到的模型可以缝合在一起而不引起效果下降。作者还要说明了“more is better”，通过缝合（1） 更多数据的网络（2）更大的网络（3）训练时间更长的网络。最后，文中的实验表明stitching揭示了随机梯度下降的一个结构性质，即stitching connectivity，通过随机梯度下降得到的典型的局部最小值可以互相缝合。

配图