迁移学习、多任务学习、端到端学习简记（结合例子）

迁移学习（Transfer learning）

举一个例子:

假设在原先的猫狗识别的任务里有1,000,000张图片，而放射影像只有1,000张图。
你可以把一个用于猫狗识别的网络应用于放射科影像的任务上，而只需要改动输出层前的最后一层的参数W[L]和b[L]。
即如果数据集较小，只需要重新训练输出层前的最后一层；但如果数据集较大，则需要训练所有的参数。

什么时候使用迁移学习？
1.能够预先学习到很多信息。即用一个数据量很大的相关问题的训练集可以有助于解决数据量较小的问题。
2.任务A的数据集应该多于B的数据集时，才能有所增益。

多任务学习（Multi-task learning）

举一个例子：

在无人驾驶领域：

行人	0
车子	1
停止标牌	1
指示灯	0

和softmax进行多分类任务不同，一张图可能拥有多个标签（即同时存在多种物体&#