deeplearning.26迁移学习、多任务学习、端到端深度学习

迁移学习

原理

假设我们已经训练好一个神经网络，是图像识别的神经网络，应用在数据（输入为x，输出为y）上，当然图像可以是猫或者狗等，现在要把这个神经网络让他适应或者说是迁移在不同的任务中进行学习，比如放射科诊断中。我们可以做的是把神经网络的最后的输出层拿走，进入最后一层的权重删掉，然后为最后一层赋予随机权重，然后让他在放射诊断数据集上训练。最后我们加上新的输出层，输出预测的是放射诊断类的图像识别。

意义

比如我们放射诊断的数据集很小，所以我们神经网络从图像识别训练（大规模数据集）中学到的知识（很多低层次的特征）可以进行迁移。

多任务学习

在迁移学习中，我们的进度是串行的，即先从任务A里学到，然后在迁移到任务B。在多任务学习中，我们的神经网络是同时开始学习的。
比如正在研发无人驾驶车辆，无人驾驶车辆可能会检测不同的图像，行人、车辆、停车等标志。那么在下图中，我们作为输入训练的数据图片，里边有停车标志、没有行人、有一个车辆，所以这个图像的输出的标签y，会有多个量，有停车牌标为1，没有行人标为0，有车辆标位1，所以最终的y可能是一个多行矩阵的形式。

所以我们建立如下神经网络，输出层是四个节点，表示有四个特征需要进行输出，最后的y是一个矩阵形式（四行一列）。

同样的我们的损失函数loss也要进行相应的改变。与softmax不同，softmax是将单个标签给单个训练样本，输出不同类的训练样本。而这里则是一类图可能有很多不同的标签，是否有行人，车辆、斑马线等等。这是训练一个神经网络，让系统最后告诉我们一张图有无四类物体。另一种思路则是训练四个神经网络，每个网络告诉我们一张图中有无一类物体。所以有时会发现，一个神经网络训练四类物体的情况效果会好，这就是多任务学习。

意义

• 如果训练的一组任务有很多可以共用的低层特征时。
• 每个任务的数据量很接近时，比如训练识别车和行人，都需要训练1万张图片。

端到端深度学习

以语音识别为例，目标输入x，输出为y是一个文本。首先输入音频，然后使用算法，提取出一些特征（低层次特征），然后机器学习算法在音频片段中找到音位（是声音的基本单位），然后将音位串在一起构成独立的词，然后将词串起来构成文本输出，这是一种有很多阶段的流水线式学习。端到端深度学习就是训练一个巨大的神经网络，输入就是一段音频，输出就是一段文本。端到端学习的一个缺点就是需要大量的数据才能让系统表现良好。通俗的讲，端到端深度学习适用于大规模数据集，且训练的任务属于x到y的直接映射关系，会有较好效果。