How transferable are features in deep neural networks?

1.背景和动机

本文全篇通过实验说明神经网络的可迁移性，通篇没有一个公式，但是却是2014年NIPS的oral presentation。

本文实验使用12年ImageNet大赛的冠军模型AlexNet进行了一系列关于网络各个层级上的可迁移性的实验。因为CNN在提取特征时，前面几层学习到的都是边边角角，线条这样的可以泛化的特征，而随着层级上升，慢慢地特征变得specific。那么问题来了，当我们打算迁移这些层次的时候，怎么知道哪些层可以不动，哪些层是specific的呢？

这个问题对于理解神经网络以及迁移学习很有意义，也是此论文的研究点。下面来看看

2.简介

本文通过实验说明结果，在ImageNet的1000个类中，作者将其分成2份（A与B），每份包含500个类，这里是随机分的。然后分别针对A和B份，分别训练一个AlexNet网络。关于AlexNet的结构就不多说了，一共8层，前面5层是卷积层，后面3层是FC层。作者分别对n=1~7进行了实验，

举个例子：比如n=3，那么AnB就是说在一个新的AlexNet上，前三层采用A网络的前三层并且将其frozen，后5层随机初始化，然后在B数据上去训练。

那么BnB就是用B网络的前三层frozen，剩下的5层初始化，然后在B上实验。