deeplearning.ai 笔记 Specialization 3 week 1 结构化机器学习项目

1. 为什么是机器学习策略

不用在错误的方向上浪费大量的时间。

2. 正交化

例子：老式TV的旋钮，每个旋钮只能调节一个画面属性（长宽比、矩形化、X轴位置、Y轴位置等），这样可以很方便的调节画面到正中，而如果调节一个旋钮同时改变两个属性（长宽和位置），虽然理论上是可以将画面调节到正中的，但是很难。

3. 单一数字评估指标

用查准率与查全率不能很好地全面反映，可以用F1分数（前两者的调和平均数）来做单一指标。

4. 满足和优化指标

优化指标：一个需要改进的指标

满足指标：几个满足一定要求即可，无需优化的指标

下图中，Running Time为满足指标，Accuracy为优化指标，满足指标达到100ms以内即可，选择最优优化指标的方法做最佳方法。

5. 训练、测试、开发集合的划分

选好目标：训练集和测试集来自同一分布。如果不是同一分布，好比前面射的靶子好不容易接近靶心，突然把靶子想其他方向移动了一样。

6. 开发、训练、测试集合的大小

以前在数据集合很小（10,000以内）时 ，7：3或者6：2：2都是合理的，但是在数据量非常大的时候（上百万），可能只需要拿出1%作为测试集即可。

7. 什么时候改变开发、测试集合与评估指标

两个模型，模型一比二的分类效果更好（比如猫分类），但是出于某些原因模型一会讲黄色图片误认为猫，推送给用户，这件事情是不可接受的，故选择模型二比较好。

这种时候可以考虑修改数据集合或者改变指标，比如给黄色图片加上更大的权重使得它出现时损失更多以此来对模型进行训练。

另一个例子：在训练时采用清晰的图片，但是实际上用户上传的图片都是模糊不清与猫咪在奇怪姿势的，这时候用户希望的不是高清的图片而是正确分类自己上传的图片，则训练的模型就不适用于实际问题，需要改变训练集测试集或目标参数。

8. 为什么模型的效果要和人类能够达到的水平做比较

贝叶斯最佳误差：理论上可以达到的最佳误差

1）在很多领域人类能够达到的最优已经很接近贝叶斯最佳误差了，所以要接近人类水平。

2）还没有达到人类水平的时候，可以借助一些工具（请人标记数据等）来达到更接近人类表现的效果，但是一旦超越人类表现，这些工具就没什么用了。

9. 可避免偏差

把能够达到的最好贝叶斯偏差与训练集上达到的准确率等指标之间的差距叫“可避免偏差”，而训练集和测试集之间的叫“方差”

第一种1%是人类能够达到的最高，可看做贝叶斯最佳误差，第二种7.5%一样（可能是模糊的图片）。当第一种的“可避免偏差有7%而方差只有2%时，关注如何减小偏差更有意义，第二种则是关注方差更有意义。

10. 理解人类表现

如何界定”人类水平误差“

在不同目标与场景下，可以用不一样的标准使得系统有意义

11. 超过人类的表现

第一个好定义，但是第二个不好定义。

12. 综合以上改善模型表现

改善可避免误差：训练更大的网络或者训练更久

改善方差：正则化或收集更多数据