金融风控比赛Day1
了解数据概况
- 了解有哪些数据字段;
- 各个数据字段含义;
- 各个数据字段的类型;
了解比赛的预测指标
AUC作为评价指标
采用AUC作为评价指标。AUC(Area Under Curve)被定义为 ROC曲线 下与坐标轴围成的面积。
分类算法常见评估指标
1.混淆矩阵
- 若一个实例是正类,并且被预测为正类,即为真正类TP(True Positive )
- 若一个实例是正类,但是被预测为负类,即为假负类FN(False Negative )
- 若一个实例是负类,但是被预测为正类,即为假正类FP(False Positive )
- 若一个实例是负类,并且被预测为负类,即为真负类TN(True Negative )
2.准确率
- (Accuracy) 准确率是常用的一个评价指标,但是不适合样本不均衡的情况。
3.精确率
- (Precision) 又称查准率,正确预测为正样本(TP)占预测为正样本(TP+FP)的百分比。
4.召回率
- (Recall) 又称为查全率,正确预测为正样本(TP)占正样本(TP+FN)的百分比。
5.F1 Score
- 精确率和召回率是相互影响的,精确率升高则召回率下降,召回率升高则精确率下降,如果需要兼顾二者,就需要精确率、召回率的结合F1 Score。
7.ROC(Receiver Operating Characteristic)
- ROC空间将假正例率(FPR)定义为 X 轴,真正例率(TPR)定义为 Y 轴。
• TPR:在所有实际为正例的样本中,被正确地判断为正例之比率。
• FPR: 在所有实际为负例的样本中,被错误地判断为正例之比率。
6.P-R曲线
- (Precision-Recall Curve) P-R曲线是描述精确率和召回率变化的曲线
7.AUC(Area Under Curve)
- AUC(Area Under Curve)被定义为 ROC曲线 下与坐标轴围成的面积,显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。AUC越接近1.0,检测方法真实性越高;等于0.5时,则真实性最低,无应用价值。
对于金融风控预测类常见的评估指标如下:
1.KS((Kolmogorov-Smirnov) )
KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中,KS常用于评估模型区分度。区分度越大,说明模型的风险排序能力(ranking ability)越强。 K-S曲线与ROC曲线类似,不同在于ROC曲线将真正例率和假正例率作为横纵轴K-S曲线将真正例率和假正例率都作为纵轴,横轴则由选定的阈值来充当。 KS不同代表的不同情况,一般情况KS值越大,模型的区分能力越强,但是也不是越大模型效果就越好,如果KS过大,模型可能存在异常,所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况,但此对应不是唯一的,只代表大致趋势。
2.ROC
3.AUC
经验总结
- 在开始比赛之前要对赛题进行充分的了解。
- 比赛什么时候开始,什么时候结束,什么时候换B榜数据。
- 和该比赛有没有类似的比赛可以参考借鉴。
- 线上提交结果的次数往往是有限的,提前了解每日可以提交的次数。
- 比赛使用的是什么评价指标,可以选择相同的评价指标作为线下验证的方式。
拓展:评分卡
评分卡是一张拥有分数刻度会让相应阈值的表。信用评分卡是用于用户信用的一张刻度表。评分卡是金融风控中常用的一种对于用户信用进行刻画的手段哦!