信用评分卡建模：logistic模型

前言

logistic模型是基本线性回归模型的扩展，为了解决其无法对非线性问题分类，进行函数变换得到logistic模型，但logistic模型只能处理二分类问题，softmax在logistic模型的基础上进行改进，可以进行多分类。

1、logistic模型原理

基本线性回归模型公式如下：
$$f(x)=w^{T}x+b$$
其中$w^T$是参数向量，x是样本，b为偏置项。
为了得到非线性效果，进行函数变换得到对数线性回归模型：
$$f(x)=\ln (w^{T}x+b)$$
以二分类为例，我们想要得到预测结果为0，1的函数，则需要找到一个能把结果映射到0到1范围内的映射函数，同时该映射函数导数性质要好，能构造出损失函数，并通过求导优化参数。sigmoid函数完全满足以上条件，其表达式如下：
$$sigmoid(x)=\frac{1}{1+e^{(-x)}}$$
设h(x)=sigmoid(x), 可推出sigmoid()函数有如下导数性质：
$$h^{\prime }(x)=h(x)(1-h(x))$$
推导过程如下：
$$\begin{array}{rl}(\frac{1}{1+e^{-x}}{)}^{\prime }& =\frac{e^{-x}}{(1+e^{-x}{)}^2}\\ & =\frac{1}{1+e^{-x}}\cdot \frac{e^{-x}}{1+e^{-x}}\\ & =\frac{1}{1+e^{(-x)}}\cdot (1-\frac{1}{1+e^{-x}})\\ & =sigmoid(x)(1-sigmoid(x))\end{array}$$

因此Logistic回归模型可以表示如下：
$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$
设
$$\begin{gathered} P(y=1｜x;w)=h(x)=\frac{1}{1+e^{-(w^{T}x+b)}} \\ P(y=0｜x;w)=1-h(x)=\frac{1}{1+e^{(w^{T}x+b)}} \end{gathered}$$
合并上式可得：
$$P(y|x;w)=(h(x){)}^y(1-h(x){)}^{1-y}$$
其中，y取值0或1，构造似然函数如下：
$$L(w)=\prod _{i=1}^{n}P(y_i|x_i;w)=\prod _{i=1}^n(h(x_i){)}_i^y(1-h(x_i){)}^{1-y_i}$$
似然函数取最大既可求得，最优的w值。为了方便求解，对上式加负号并取对数转为求函数的极小值,即可得到交叉熵损失：
$$-log(L(w))=-\sum _{i=1}^n{y}_i\log (h(x_i))+(1-y_i)\log (1-h(x_i))$$
记$J(w)=-log(L(w))$,上式对w求导：
$$\begin{array}{rl}\frac{\partial J(w)}{\partial w}& =\frac{\partial (-\log (L(w)))}{\partial w}\\ & =-\sum _{i=1}^n(\frac{y_i}{h(x_i)}-\frac{1-y_i}{1-h(x_i)})h^{\prime }(x_i)\end{array}$$
其中，$h^{\prime }(x)=h(x)(1-h(x))$，代入可得：
$$\begin{array}{rl}\frac{\partial J(w)}{\partial w}& =-\sum _{i=1}^n(\frac{y_i}{h(x_i)}-\frac{1-y_i}{1-h(x_i)})h^{\prime }(x_i)\\ & =-\sum _{i=1}^n(\frac{y_i}{h(x_i)}-\frac{1-y_i}{1-h(x_i)})h(x)(1-h(x))\frac{\partial w^T{x}_i}{\partial w}\\ & =-\sum _{i=1}^n(y_i-h(x_i))x_i\end{array}$$
采用梯度下降法对参数进行更新，经过多次迭代即可求得最优参数w。
$$w_{t+1}=w_t-\gamma \frac{\partial J(w)}{\partial w}$$
相对于原始的线性模型，Logistic模型通过sigmoid函数映射后，将数据压缩到了0～1之间，因此可以很好的解决异常点分类问题。

过拟合与正则项

为了防止模型过拟合，可以通过添加正则项的方式解决该问题，常用的正则项有：L1正则，L2正则，或结合L1和L2正则的弹性网。
添加L1正则的损失函数如下：
$$J(w)=-\sum _{i=1}^n{y}_i\log (h(x_i))+(1-y_i)\log (1-h(x_i))+\lambda \sum _{i=1}^d|w_i|$$
添加L2正则的损失函数如下：
$$J(w)=-\sum _{i=1}^n{y}_i\log (h(x_i))+(1-y_i)\log (1-h(x_i))+\lambda \sum _{i=1}^d{w}_i^2$$
添加弹性网Elastic net后的损失函数如下：
$$J(w)=-\sum _{i=1}^n{y}_i\log (h(x_i))+(1-y_i)\log (1-h(x_i))+\lambda (\rho \sum _{i=1}^d|w_i|+(1-\rho )\sum _{i=1}^d{w}_i^2)$$
其中，n为样本数，d为属性或特征数。$\lambda >0$， $0<\rho <1$。第一部分为经验风险（原损失函数），第二部分为结构风险（正则项）。

2、LR模型为什么不用MSE做损失函数？

• 当 $w$ 的值稍微大些或稍微小写的时候，$h_i$ 很容易趋近于1或0，造成$\frac{\partial mse}{\partial w}$会很小，导致 $w$ 学不到东西.
• $mse$损失函数的极小值点特别多，与特征维度的平方成正相关，这对初始化 w 就有很大的要求