吴恩达DL3.2.7节：迁移学习

• 课堂笔记
  比如说将识别猫的分类器运用到放射科诊断（阅读X射线图）， 你有了一个猫分类器和一些X射线图，经验是：

• 如果的X射线图不是很多，那么你可以只训练猫分类器网络的最后一两层；

• 如果你有很多数据，可以接着训练猫分类器的全部层。在图像处理中，猫分类器的训练叫做预训练（pre-training），在X射线图片上的训练叫微调(fine tuning)。

这样做为什么有效呢？
因为有很多低层次特征， 比如说边缘检测、 曲线检测、 阳性对象检测 （positive objects） ， 从非常大的图像识别数据库中习得这些能力可能有助于你的学习算法在放射科诊断中做得更好，算法学到了很多结构信息，图像形状的信息，其中一些知识可能会很有用，所以学会了图像识别， 它就可能学到足够多的信息， 可以了解不同图像的组成部分是怎样的，学到线条、点、曲线这些知识，也许对象的一小部分，这些知识有可能帮助你的放射科诊断网络学习更快一些，或者需要更少的学习数据。

也可以在原来网络的后面加几层或者几个节点，然后把新数据投进去训练。

---

关于样本数量的问题：

• 如果你有1,000,000张猫狗图片，而X射线图片只有100张，那么你可以使用猫狗图片去预训练，让网络学习一些低层次特征，然后用100张X射线图片进行微调
• 相反的，如果你有100张猫狗图片，1,000,000张X射线图片，那么猫狗图片就没那么重要了，你完全可以直接使用X射线图片来训练一个性能不错的网络。这时候，你使用猫狗图片预训练可能不会带来什么害处（指迁移学习），但是也不要指望它能带来什么有意义的增益。

---

总结一下，什么时候迁移学习是有用的，比如从task A -> task B

1. task A和task B有相同的输入，eg：输入都是音频或者图片。
2. A比B有多得多的数据。这时B的数比A重要得多，我们期望A能够为B提供一些有用的知识。