论文链接: https://arxiv.org/pdf/2209.04836.pdf
论文解读: 零障碍合并两个模型,大型ResNet模型线性连接只需几秒,神经网络启发性新研究@机器之心
关于这篇文章的解读, 机器之心的文章中已经解读的比较到位了。这里谈几点自己的思考:
1 这篇文章为分布式训练提供了新的方法。可以在不同的节点上, 用不同的数据分别训练同一个模型, 在对训练好的模型进行合并。
2 为隐私计算提供了新思路。 类似联邦学习的思路, 数据可以不归集到一个中心节点, 而是存储在自己手中, 然后分别用自己的数据训练同一个模型。把训练好的模型共享, 然后对模型参数进行操作, 就可以得到对多个数据集效果都好的模型,相当于用全量数据集进行了训练。 这样就解决了数据隐私的问题。