Net2Net

最新推荐文章于 2024-01-22 17:15:47 发布

ChaoFeiLi

最新推荐文章于 2024-01-22 17:15:47 发布

阅读量1.1k

点赞数 1

分类专栏：网络安全与人工智能

原文链接：https://blog.csdn.net/oppo62258801/article/details/90374751

版权

网络安全与人工智能专栏收录该内容

44 篇文章 16 订阅

订阅专栏

什么是Net2Net？

Net2Net(Net to Net) 是利用知识迁移来解决大型网络的训练速度慢的问题，例如先训练一个小的网络，然后Net2Net，训练一个更大的网络，训练更大的网络时可以利用在小网络中已经训练好的权重，使得再训练大型的网络速度就变的非常快，利用小网络的权重的这个过程就是知识迁移的过程。

真实场景下的机器学习系统，最终都会变成终身学习系统(Lifelong learning system)，不断的有新数据，通过新的数据改善模型，刚开始数据量小，我们使用小的网络，可以防止过拟合并加快训练速度，但是随着数据量的增大，小网络就不足以完成复杂的问题了，这个时候我们就需要在小网络上进行扩展变成一个大网络了。

Net2Net

那么如何操作才能使得网络的拓扑结构改变后还能利用旧网络的权重呢？
改变拓扑结构但是不改变网络的效果，对于同样的输入有同样的输出。

如何进行Net2Net？

我们定义两个操作 Net2WiderNet 和 Net2DeeperNet

Net2WiderNet

Net2WiderNet 操作使得某一层更宽，例如让全连接层有更多的单元，让卷积层有更多的channel。
我们希望能够使得这层更宽并且变化后的结构对于同样的输入会得到相同的输出。

WiderNet

如上图，对于一个全连接层来说，如果我们新增了一个节点，那么我们随机从已有节点中选择一个节点copy它的输入权重，使得这个节点的值和已有选择的节点的值相同，对于输出的节点来说，需要把前一层的节点的值求和激活，这时我们发现我们选择的那个节点的值扩大了两倍，于是我们可以把他们各自都除以2，这样我们就实现了全连接层的恒等替换。

对于一个卷积层来说，道理也类似，如果我想增加一个channel，我可以随机选一个channel然后copy它的权重(filter)，对于输出时要再进行卷积的filter而言，我们把filter中这两层的channel的权重除以2就可以，这样也在channel增加的情况实现了恒等替换。