概率类模型评估指标

模型评估（概率类）

• 布里尔分数brier_score_loss
  • 原理
    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UKIj5LhG-1684801449607)(data/user-data/509837/images/555bad2bc35e6fa2fadb0497423433d6.png)]
    • 计算预测值（0，1）之间】和真实值（0或1）之间的平方差，差值越小，表示模型评估效果越好
  • 实现
    • 导入模块
      • from sklearn.metrics import brier_score_loss
    • 将标签转换为哑变量（只接受二分类标签）
      • Ytest_= Ytest.copy()
      • Ytest_ = pd.get_dummies(Ytest_)
    • 如果评估的模型没有proba接口，则需要将其结果归一化转化为概率进行评估
    • brier_score_loss(Ytest_[1], prob[:,1])
      • （真实值、预测概率）
• 对数似然函数log_loss
  • 评估的结果与布里尔分数不同，输出的结果代表模型的损失（类似于损失函数），输出值越小代表模型效果越好
• 可靠性曲线calibration_curve
  • 越接近y=x，模型效果越好
  • 可靠性曲线校准CalibratedClassifierCV
    • 让模型更自信或更谦虚
    • 参数
      • base_estimator
        • 实例化的分类器
      • cv
        • 交叉验证模式
      • method
        • 进行概率校准的方法
          • ’sigmoid‘
          • ’isotonic’
      • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cHUkPjHn-1684801449611)(data/user-data/509837/images/4e8e17379d8ef68caba4e7884cc5cfad.png)]
    • sigmoid校准
      • 适合样本量较少的情况
    • isotonic校准
  • 实现
    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-alECHARe-1684801449613)(data/user-data/509837/images/e6890cede83846a3facf47130a04b601.png)]
    • 得到真实值和预测值
      • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-diP2Vg8f-1684801449614)(data/user-data/509837/images/846f5f6fff0c0de4e24410da652e9856.png)]
    • 绘制可靠性曲线（以真实值转化的概率为横坐标，预测值为纵坐标）
      • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pygpgnh3-1684801449615)(data/user-data/509837/images/6ac672539e81b95a49984ccc13c47ebd.png)]
• 概率样本量分布图
  • 可以得到模型预测的概率大致位于什么区间，判断模型是过度自省模型，还是不自信模型
    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OF3o8w5x-1684801449616)(data/user-data/509837/images/f68d98b180f6cde65efbf88392cc4b44.png)]