[机器学习]概率模型的可靠性曲线及校准

1.什么是可靠性曲线？

可靠性曲线是一个概率类模型的评估指标，适用于朴素贝叶斯，SVM，逻辑回归等概率类算法。是以y预测值为横坐标，y真实值为纵坐标的曲线。
因此当我们画出的可靠性曲线越接近对角线时，我们认为这个学习器的性能越好。

2. 代码展示

sklearn的可靠性曲线和学习曲线相同都是不能直接画图而是返回画图所需要的值，因此下面代码是根据calibration_curve返回的值对三个算法的可靠性曲线的探索。

from sklearn.datasets import make_classification as mc
import matplotlib.pyplot as plt
from sklearn.naive_bayes import GaussianNB # 导入高斯朴素贝叶斯
from sklearn.svm import SVC
from sklearn.linear_model import LogisticRegression as LR
from sklearn.metrics import brier_score_loss # 导入布里尔分数
from sklearn.model_selection import train_test_split
from sklearn.calibration import calibration_curve # 对概率类模型进行校准，方法是分箱


#创建数据
x,y = mc(n_samples=100000,
         n_features= 20,
         n_classes= 2,
         n_repeated=