07_机器学习相关笔记——模型评估（1）

07_机器学习相关笔记——模型评估（1）

1. 只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。
2. 模型评估主要分为离线评估和在线评估两个阶段。
3. 在模型评估过程中，分类、排序、回归等不同的问题需要使用不同的指标进行评估。
4. 在诸多的评估指标中，大部分指标只能片面地反映模型的一部分性能。如果不能合理地运用评估指标，不仅不能发现模型本身的问题，而且会得出错误的结论。
5. 准确率，被正确分类的样本个数与总样本个数的比值。当样本中正负样本比例不均衡时，占比大的类别往往成为影响准确率的最主要因素（负样本占99%时，分类器将所有样本都预测为负样本也可以获得99%的准确率）。可以使用更为有效的平均准确率作为模型评估指标（每个类别下的样本准确率的算术平均）。
6. 精确率，分类正确的正样本个数占分类器判定为正样本的样本个数的比例。
7. 召回率，分类正确的正样本个数占真正的正样本个数的比例。
8. 精确率和召回率是既矛盾又统一的两个指标，为了提高精确率，分类器需要尽可能将有把握的预测正样本，因为保守导致遗落没有把握的正样本，导致召回率降低。
9. P-R曲线，综合评估模型性能，纵轴是精确率，横轴是召回率。P-R曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值判定为负样本，此时返回结果对应你的召回率和精确率。
10. P-R曲线、F1 score和ROC曲线可以综合地反映一个排序模型的性能。
    注：笔记内容来源于《百面机器学习》