深度学习训练目标和思考，含可避免偏差和方差

参考资料： http://www.ai-start.com/dl2017/html/lesson3-week1.html#header-n3

目标

真正好的工程师思维清晰，对于要调整什么来达到某个效果

• 第一步是弄清楚如何定义一个指标来衡量你想做的事情的表现，然后分开考虑如何改善系统在这个指标上的表现。
• 第二步是瞄准和射击目标，如设计数据集、cost函数等
  notice： 正交化，使用不同的参数不会相互干扰，每次只调整一个因素判断效果是否优化

训练集、开发集、测试集、真实应用

发集和测试集应来自同一分布

让你的开发集和测试集来自同一分布。主要的做法有：所有数据随机洗牌，放入开发集和测试集，所以开发集和测试集都有来自八个地区的数据，并且开发集和测试集都来自同一分布，这分布就是你的所有数据混在一起。

开发集和测试集的大小

• 70/30比例分成训练集和测试集/60%训练集，20%开发集，20%测试集
• 有1百万个训练样本，可以将98%作为训练集，1%开发集，1%测试集
• 测试集的目的是完成系统开发之后，测试集可以帮你评估投产系统的性能

满足和优化指标

• 准确率和运行时间、假阳性等
• 能够最大限度提高准确度，但必须满足运行时间要求或者cost = accuracy - 0.5*running time

根据目标选择单一数字评估指标

• 查准率：分类器有95%的查准率，这意味着你的分类器说这图有猫的时候，有95%的机会真的是猫。
• 查全率：查全率是90%，这意味着对于所有的图像，比如说你的开发集都是真的猫图，分类器准确地分辨出了其中的90%。
• F1-score = 2