算法：学习算法评估实验方法和性能指标

模型泛化评估实验设计和性能度量指标

实验设计

有hold-out，k-fold cross validation，和自助法。最受欢迎的是CV，自助法一般用于样本量比较小的case下。

性能指标

评估性能指标中如果不引入非均等代价的概念，对于regression有均方误差，对于分类有precision（TP／TP + FP）、recall（TPR = TP／TP + FN）、PR曲线、ROC曲线、FPR（FP／TN + FP）。ROC更看重模型在完成正样本准确定位的同时，泛化能力是否更好。如果带入非均等代价的概念，就是CC曲线。CC曲线通过cost（0，1）和cost（1，0）根据业务场景对不同的错误率分配权重，来评估模型的好坏。不同于PR和ROC，CC中的期望总体代价面积越小越好。
https://www.zhihu.com/question/63492375
知乎解释 -