Logistic Regression在评分卡模型中的应用

一、Logistic Regression模型的基本概念

线性回归无法对｛违约，非违约｝这类标签进行建模。对于分类模型而言，建模的对象是每个类别在某条样本上出现的概率

伯努利概型：

在违规预测场景中，单个个体违约事件可以看成伯努利概型，参数pi即需要预测的目标

 

通过Logistic变换（sigmoid函数），使目标函数的取值范围限定在(0,1) f'(x)=f(x)(1-f(x)) f(x)的特点： 单调性：f(xi)>f(xj) if xi>xj 有界性：(0,1) 可导性：f'(x)存在 将Logistic变换应用在概率中， Xi表示第i个观测值上p个特征的取值，β表示该特征的权重。

通过Logistic变换，上述模型的形式变为：。对违约概率做回归，而非违约结果（0or1）

 

参数估计：通过极大似然估计法（MLE）求出参数β，使得似然函数最大化。

通常将似然函数最大化问题转化为对数似然函数最大化，原因如下：

1. 对数似然函数与似然函数单调上升且具有更紧凑的形式

2. 对数似然函数更易于求导计算

似然函数：