虽然我这两天很忙!!但是我一定要加油!我在这里寄予自己厚望
俺这次一定把这些东西都搞懂 ,不然又要拖拖拖
那我还是在最前面写写吧,简单搞懂了一下dsw是怎么用的,虽然有点不习惯,但是听说用它快一点,那我就用它吧。然后看了看题没怎么看baseline,后面补一下实在是没时间了,考试加油!
学习知识点概要
- 理解赛题数据和目标,清楚评分体系。
- 完成相应报名,下载数据和结果提交打卡(可提交示例结果),熟悉比赛流程
学习内容
赛题理解
- 题目概述
二分类问题
数据:贷款申请人的数据信息
目的:其是否有违约的可能
- 数据概述
数据来自某信贷平台的贷款记录,总数据量超过120w
包含47列变量信息,其中15列为匿名变量
将会从中抽取80万条作为训练集,20万条作为测试集A,20万条作为测试集B。(本次比赛用A)
具体数据如下:
预测指标
提交结果为每个测试样本是1的概率,也就是y为1的概率。评价方法为AUC评估模型效果(越大越好)。
- 常用的评估方法
1、混淆矩阵(Confuse Matrix)
(1)若一个实例是正类,并且被预测为正类,即为真正类TP(True Positive )
(2)若一个实例是正类,但是被预测为负类,即为假负类FN(False Negative )
(3)若一个实例是负类,但是被预测为正类,即为假正类FP(False Positive )
(4)若一个实例是负类,并且被预测为负类,即为真负类TN(True Negative )
2、准确率(Accuracy)
准确率是常用的一个评价指标,但是不适合样本不均衡的情况。 A c c u r a c y = T P + T N T P + T N + F P + F N Accuracy = \frac{TP + TN}{TP + TN + FP+ FN} Accuracy=TP+TN+FP+FNTP+TN
3、精确率(Precision) 又称查准率,正确预测为正样本(TP)占预测为正样本(TP+FP)的百分比。(占预测的)
P r e c i s i o n = T P T P + F P Precision =\frac{TP}{TP + FP} Precision=TP+FPTP
4、召回率(Recall) 又称为查全率,正确预测为正样本(TP)占正样本(TP+FN)的百分比。(占真实的) R e c a l l = T P T P + F N Recall = \frac{TP}{TP + FN} Recall=TP+FNTP
人们通常使用精准率和召回率这两个指标,来评价二分类模型的分析效果。但是当这两个指标发生冲突时,我们很难在模型之间进行比较。
5、F1 Score
精确率和召回率是相互影响的,精确率升高则召回率下降,召回率升高则精确率下降,如果需要兼顾二者,就需要精确率、召回率的结合F1 Score。
F 1 − S c o r e = 2 1 P r e c i s i o n + 1 R e c a l l F1 -Score = \frac{2}{\frac{1}{Precision} + \frac{1}{Recall}} F1−Score=Precision1+Recall12
6 P-R曲线(Precision-Recall Curve) P-R曲线是描述精确率和召回率变化的曲线
7、ROC(Receiver Operating Characteristic) ROC空间将假正例率(FPR)定义为 X轴,真正例率(TPR)定义为 Y 轴。 TPR:在所有实际为正例的样本中,被正确地判断为正例之比率。 T P R = T P T P + F N TPR = \frac{TP}{TP + FN} TPR=TP+FNTP
FPR:在所有实际为负例的样本中,被错误地判断为正例之比率。 F P R = F P F P + T N FPR =\frac{FP}{FP + TN} FPR=FP+TNFP
8、AUC(Area Under Curve) AUC(Area Under Curve)被定义为 ROC曲线下与坐标轴围成的面积,显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。AUC越接近1.0,检测方法真实性越高;等于0.5时,则真实性最低,无应用价值。
对于金融风控预测类常见的评估指标如下:
在风控中,KS常用于评估模型区分度。区分度越大,说明模型的风险排序能力(ranking ability)越强。 K-S曲线与ROC曲线类似,不同在于
- ROC曲线将真正例率和假正例率作为横纵轴
- K-S曲线将真正例率和假正例率都作为纵轴,横轴则由选定的阈值来充当。 公式如下:
K
S
=
m
a
x
(
T
P
R
−
F
P
R
)
KS=max(TPR-FPR)
KS=max(TPR−FPR) KS不同代表的不同情况,一般情况KS值越大,模型的区分能力越强,但是也不是越大模型效果就越好,如果KS过大,模型可能存在异常,所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况,但此对应不是唯一的,只代表大致趋势。
roc和auc
学习问题与解答
我可以吗?
我可以的!
学习思考与总结
在这次练习中我想学到什么呢?
- task2我想搞清楚数据清洗,特别分布变换,顺便会画那些图
- task3我要好好学习特征工程
- task4鹅鹅鹅 我学会那几个模型吧,但是为什么我都不太会原理,我很想把原理搞清楚,救命啊。嗯嗯然后调参,我不是很懂这些模型是干嘛的,所以我现在也不知道他们的参数是干嘛的,是怎么样的呢
- task5其实我一直不知道融合是怎么个融合,是集成吗?好像是捏!真好,希望我的时间可以多一点,我可以好好学会。