（笔记）吴恩达深度学习第三节课

1、训练、开发、测试集划分

开发（dev）集也叫做 （development set），有时称为保留交叉验证集（hold out cross validation set）

大数据时代，7/3分和6/2/2分所有数据集已经不合适了。

我们可以让训练集占比例

更多，开发和测试集占比例更少

2、当开发集和测试集和训练集内容相差很大

不是同一分布，而且开发集和测试集很少但是确实是我们想要得到的目标相关，而训练集很多的时候，可以将庞大的训练集单独设置成训练集，开发集和测试集就用我们目标想要的小数据集，没必要把他们混合成一个大集合，这样也可以直接把开发集和测试集设置成我们想要的目标，就方便我们训练调试到想要的结果。

3、当训练集误差低而测试集误差高的时候（错误分析）

可能是过拟合（高方差问题），也可能是算法本身就不适合测试集。为此我们需要进行判断：将一部分训练集结合测试集变成训练-开发集，这部分不训练，单纯用来验证，如果这部分的误差很高，那么就是过拟合了（高方差问题），因为训练-开发集可以跟训练集视为同一分布。

如果训练-开发集和训练集误差都很低，只有开发集或者测试集误差高，那就是单纯的数据不匹配问题。

4、定位数据不匹配怎么办

可以人工数据合成

5、迁移学习

迁移学习定义：将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。

意思就是我们可以用已经训练好的处理A任务的神经网络，进行调整来处理B任务

应用场合要求：①迁移来源（A任务）有很多数据，但是迁移目标（B任务）没有那么多数据可以训练。

②A和B输入相同

③A任务的低层次特征对B任务也有用

如果我们把A任务的神经网络处理B任务时，把所有参数都进行修改，那么训练A的过程叫做“预处理”，处理B的训练过程叫做“微调”。当然我们也可以只替换输出层。

6、低层次特征和高层次特征

低层次特征：低层次特征往往是泛化的、易于表达的，如纹理、颜色、边缘、棱角等等。

高层次特征往往是复杂的、难以说明的，比如金色的头发、瓢虫的翅膀、缤纷的花儿等等。

7、多任务学习

在迁移学习中，你的步骤是串行的，你从任务𝐴里学习只是然后迁移到任务𝐵。在多任 务学习中，你是同时开始学习的，试图让单个神经网络同时做几件事情，然后希望这里每个 任务都能帮到其他所有任务。

简而言之，这与 softmax 回归的主要区别在于，与 softmax 回归不同，softmax 将单个标签分配给单个 样本。而这张图可以有很多不同的标签，所以不是说每张图都只是一张行人图片，汽车图片、 停车标志图片或者交通灯图片。你要知道每张照片是否有行人、或汽车、停车标志或交通灯， 多个物体可能同时出现在一张图里。

多任务学习应用场合要求：①如果你训练的一组任务，可以共用低层次特征。

②：如果对于单个任务你已经有 1000 个样本了，那么对于所有其他任务，你最好有超过 1000 个样本，这样其他任务的知识才能 帮你改善这个任务的性能。

③：神经网络最好足够大

总结：多任务学习能让你训练一个神经网络来执行许多任务，这可以给你更高 的性能，比单独完成各个任务更高的性能。

8、端到端的学习

端到端的学习意思就是从输入x到输出y，中间不分任何步骤，直接喂输出然后训练得到y

事实证明，端到端深度学习的挑战之一是，你可能需要大量数据才能让系统表现良好。如果数据少，应该分许多步骤，如果数据足够多，确实可以采用端到端的学习直接训练输出y。

9、端到端的学习的优点和弊端

优点：端到端的学习强调让数据起作用，非不是人为地强行加入各种人类主观上的学习步骤。

并且能简化设计工作流程（你不用设计中间的步骤）

缺点：需要很多数据 

而且有些人为强加的重要特征（学习步骤）确实对小数据的训练过程有用，去除后也有弊端。