Machine Learning Yearning33~35

1.许多机器学习系统的目的是使得人类做的很好的事情进行自动化。如果人类对一个任务处理的较好，那么我们可以相对容易的建造一个ML系统。原因有，1，容易获得具有高质量标注的数据；2，能够利用人类的直觉进行知道模型改进；3，将人类的表现和机器的表现进行对比。第3点还是比较重要的，因为它可以在一定程度上指导我们，是否我们的模型能够还有提高。
2.对于远超，人类表现的ML系统，我们需要关注的问题有：1，收集数据比较难；2，人类直觉就很难起到指导作用，人都弄不好，怎么设计算法来处理呢？3，我们很难知道，ML系统在这个任务上的上限。
说白了，人类的表现就是一个baseline。
3.那么面对很多的人类表现（对于同一个任务，不同人会有不同的performance），我们选取哪个值为人类baseline呢？选取错误率最小那个。但是，比如现有的ML系统错误率为40%，那么选取20%的baseline或者4%的baseline是无关紧要的。但是如果现在ML系统错误率已经达到10%，那么设置2%的baseline还是有必要的。
4，说白了，如果人类的表现在某一方面胜过现有ML系统，那么就有希望来提高系统能力的，通过1中的3个办法。比如，虽然ML系统验证集整体水平比人类高，但是部分样本人类的表现比ML系统要好，那么就还有提高的机会。当机器已经超过人类水平（比如，有部分应用是，当机器明显出错，人类还很难确定机器是否出错），机器进步的速度相对而言会慢些。