如何定量评价calibration曲线：Brier 评分和slope

在前期讲过如何用代码实现calibration曲线的Brier 指数和slope（斜率）的数值，今天就具体讲一下brier评分。

https://mp.weixin.qq.com/s?__biz=MzkwMzI5MDk4Mg==&mid=2247484089&idx=1&sn=04e4ce9ffa89286505c9f616bc6abc1c&chksm=c099cbb0f7ee42a67db32dba0394601537c0e7740c16e0fbbda6e13bdbc9696939daa17a2ecb&token=960386569&lang=zh_CN#rd

Brier 评分是用来评价calibration曲线表现的指标，Brier数值越小，模型的准确性越高。

Brier评分是评价模型的准确性，比如说想预测一批心衰患者的死亡率，Brier指数衡量模型预测的死亡可能性和实际患者的结局之间的差异。

Brier指数计算方法：

建模预测：根据建立的预测模型，预测患者死亡的概率。

实际结果：患者实际的结局（生或者死）。

计算差异：对于每个患者，计算预测概率和实际结果之间的差异。如果模型预测为0.7（70%的死亡可能性），并且确实死亡，则差异为0.7-1 =-0.3。如果没有死亡，差值为0.7-0 = 0.7。如果模型预测为1（预测这个患者死亡可能性是100%），并且确实死亡，则差异为1-1 =0。预测和实际之间没有差异，预测得非常准。

平方差异：将这些差异平方，使其均为正值。这强调了更大的错误。

平均值：最后，计算所有这些平方差值的平均值。就是 Brier 评分。

Brier评分数值衡量

Brier评分：0，就是模型预测是100%正确。

Brier评分：0 ~ 0.1优秀

Brier评分：0.1和0.25之间通常被认为是良好的

Brier评分高于0.25表明模型的预测不太准确，可能需要改善，Brier评分越高，模型预测的准确性就越差。

此外，可以用bootstrap给brier评分算一个95%可信区间。

更详细的brier评分的算法可以看这篇文献（https://jmlr.csail.mit.edu/papers/volume21/18-772/18-772.pdf

）

calibration的斜率slope的话，是越接近于1越好。