关于CNN, 浅层的卷积层的output是low-level的特征如线, 越深层特征level越高。因此当迁移目标和训练目标相似时,取深层。
当需要运用 transfer learning 在不同feature space 上的图片时。 一般有以下几种做法。
- 将pre-train的model或者部分model当做feature extracter
- 可以将pre-train的model参数冻结接到新的model上
- 可以将pre-train model 接到新model上,但使用一个较小的lr。这时,比较像当做weights initializer