structuring ML projection —— 第一周

1. 正交化
   正交化表示系统各个部分成90度，即改变一个部分时不会连带改变另一部分。
   
2. 单实数评估指标
   用F1score 代替 precision 和 recall. 更方便评估分类器好坏。
   

3. 开发集和测试集要在同一分布，并且要先制定好目标，再收集数据集，防止中途改变目标后数据集变化。

4. 当数据集足够大时（100,000），验证集和验证集无需30%，验证集足够大到可以检测不同模型的表现，测试集足够大到置信度满足需求即可。
5. avoidable bias & variance
   

比较偏差大还是方差大，来判断优先改善什么。