模型效果验证方法

        对于回归问题，一般采用均方误差验证。

        对于分类问题，首先要明确两个概念：查准率和查全率。数据可以分成四种类别：真正例TP、真反例TN、假正例FP、假反例FN。TP是指预测结果是正例，实际也是正例的数据；TN指预测结果是反例，实际也是反例的数据；FP是指预测结果是正例，实际是反例的数据；FN指预测结果是反例，实际是正例的数据。它们可以构成一个混淆矩阵。查准率表示在所有预测为正例/反例的数据中实际也是正例/反例的数据的比例，举例像晚上我们买了几个西瓜，买的时候觉得它们都很甜，拿回去切开后才发现有几个还没熟。查全率表示在实际是正例/反例的数据中预测为正例/反例的比例，就好比瓜农拿了几个好瓜给我们，我们觉得有几个瓜比较甜，实际上全都很甜。查准率和查全率是比较矛盾的两个指标，一方较大那么另一方往往会较小。

        P-R曲线可以用来评估两个学习器的效果好坏，它以查准率为横轴、查全率为纵轴。如果一条学习器的曲线能完全包住另一条曲线，那么前者的效果比后者好。如果两条曲线有交叉，那么平衡点离两个坐标轴较远的学习器效果较好。

        f1指标是查准率和查全率的调和平均值，它兼顾考虑了两个量。

        对于roc曲线而言，如果一个学习器的曲线能够完全包住另一条曲线，那么前者的效果好于后者，这和P-R曲线相同。当两条曲线有交叉时也考虑曲线与坐标轴的面积，大者较好，auc就是表示roc曲线与坐标轴面积的量。