性能度量（模型评价）

• 分类结果混淆矩阵
  ——预测 预测
  正例 TP FN
  反例 FP TN
  准确率：
  acc = (TP+FP)/(TP+TN+FP+FN)
  查准率或精度Precision：
  P=(TP)/(TP+FP)
  查全率或者灵敏性或者召回率Recall：
  R=(TP)/(TP+FN)
  P-R曲线：横坐标为P,纵坐标为R,平衡点BEP满足P=R的取值
  F1=2PR/(P+R)
  商品推荐中更看重P，抓捕逃犯更看重R（查的更全点）
  F1可以扩展为$F_\beta = (1+\beta ^2)\times P \times R/(\beta ^2\times P+R)$
  $\beta$大于1更看重查全R，否则更看重查准P
• ROC和AUC
  用于截断点的设置。
  ROC横坐标为真正例率：TPR=TP/(TP+FN)
  ROC纵坐标为假整理率：FPR=FP/(FP+TN)
  绘图方法：给定m^+个整理和m^-个反例，根据学习器预测结果对样例进行排序，然后把分类与之设为最大，即把所有样例均预测为反例，此时真正例率和假正例率均为0，在坐标(0,0)处标记一个点，然后，将分类阈值依次设为每个样例的预测值，即一次将每个样例划分为正例，设前一个标记点坐标为(x,y)，当前若为真正例，则对应标记点的坐标为(x,y+\frac{1}{m^+})；当前若为假正例，则对应标记点的坐标为(x+\frac{1}{m^-},y)，然后用线段连接相邻点即得。
  AUC可通过对ROC曲线下各部分的面积求和而得。
  AUC的物理意义：AUC就是从所有1样本中随机选取一个样本，从所有0样本中随机选取一个样本，然后根据分类起对两个随机样本进行预测，把1样本预测为1的概率为p1，把0样本预测为1的概率为p0，p1>p0的概率就等于AUC。所以AUC反映的是分类器对样本的排序能力。
  另外值得注意的是，AUC对样本类别是否均衡病不敏感，这也是不均衡样本通常用AUC评价分类器性能的一个原因。