模型指标和策略

查准率P：

查全率R：

两者结合之后新的指标F1分数（P、R的平均值也叫调和平均数）：

利用F1这个单一实数指标来判断。

开发集以及验证集最好来自同一分布：方法是将数据全部打乱，然后从中抽取。

大量数据分配到训练集，其余少量数据分配到开发集和测试集，利用开发集选出不同的方法，测试集的目的是评估你最后的成本偏差。

人类水平误差用来估计贝叶斯误差，能够达到的最低值，当接近人类水平时，更难分辨出问题是偏差还是方差，所以此时进展会更缓慢。

误差分析：找到出现错误的例子中，影响最大的特征，对这个特征进行修改。