评估方法
- 混淆矩阵confusion_matrix
- confusion_matrix(真实值,预测值,标签)
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FfrZTDmQ-1683357379997)(data/user-data/509837/images/58fa5adce29d6a22d0324a73bf3b0c39.png)]
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fNQPuuET-1683357379999)(data/user-data/509837/images/996003bf50b077ec80716840524d1fd7.png)]
- 准确率
- 模型.score(真实值,预测值)
- 预测正确的样本数/总的样本数
- 召回率recall
- 预测正确的少数类/所有的少数类
- 表示对少数类的捕获性能
- 特异度specificity
- 预测正确的多数类/总的多数类
- 表述对多数类的捕获性能
- 假正率FPR
- 预测错误的多数类/总的多数类
- 表述为了捕获少数类而牺牲多数类的程度
- ROC曲线
- 以假正率为横坐标(预测错误的多数类/总的多数类),召回率为纵坐标(预测正确的少数类/总的少数类),为曲线作图
- 召回率上升的越快表现越好,曲线与y = x直线的面积越大,模型表现越好
- 手动画图
- 取出不同的阈值求得其recall和fpr得到曲线
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VLgU2NDm-1683357380001)(data/user-data/509837/images/96b37bbbf70e58feb520c66277696f67.png)]
- 函数画图roc_curve
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tjelQVq6-1683357380002)(data/user-data/509837/images/3e3b885dc2a4e684db6277f5675088fe.png)]
- 取出不同的阈值求得其recall和fpr得到曲线
- AUC面积roc_auc_score
- 面积越大模型效果越好
- auc(真实值, 置信度)
- 置信度可以是概率,也可以是距离
- [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KtuJ1ANW-1683357380003)(data/user-data/509837/images/f39c155c79ec9922432b90d20246f03d.png)]