深度学习第三课 结构化机器学习项目 第一周机器学习策略（一） 笔记和作业

ML的策略

Example：搭建一个神经网络结构有很多可选择的ideas如何判断哪些ideas真的能起到效果

判断系统性能 <—使用单一数字评价指标（eg：F1 score/average score）
优化指标 <—对于N个指标的，尽量优化单一指标优化，其他的设置阈值

大数据时代，测试集可以划分为更小的集合

　　验证集和测试集的分布应该保持一致，因为在验证集上选取模型放在实际的应用上，需要在之间保持相关性，相反训练集和测试集之间存在分布不同并不是多大的问题，在一些情况下，对于数据集的划分，可以参考下图：

　　由于网络上获取的数据并不完全符合实际的数据分布，假设从网络上共获取900000图像照片，以及100000实际的图像照片用于训练，可以通过以上方式组合。

ML会在接近或者超过人类水平之后变得越来越慢的原因：
1. 在低于人类水平时，往往有很多工具可以使用，而surpassing 人类之后，依靠人类的直觉很难判断优化的方向；
2. 在某些任务上，人类的水平已经很接近贝叶斯误差（理想值），而ML超过人类之后也许没有太多的可优化的空间。

ML超过人类的领域：

　　特别是对于这种结构化的数据（structure data），需要大量数据分析的领域，而在另外一些领域，比如语言识别、自然语言方面机器学习还很难超越人类的表现，主要是人类擅长于处理这类自然感知的问题。

　　以人类水平（Human-level）作为基准，在许多任务中，往往将人类水平看做贝叶斯误差的代理（proxy），但是实际上一些任务中可能贝叶斯误差不能达到0%。