金融风控-- ＞客户流失预警模型-- ＞特征工程

上一篇博文中，我们对金融数据（连续性变量，类别性变量）进行了可视化操作，以及单因子分析，多因子分析等初始预处理。得出了变量和目标变量的相关性。

本篇博文中将对金融数据进行全面详细的数据预处理以及特征工程。这里包括以下几点：

• 极端值的处理
• 缺失值的处理
• 特殊变量的处理
• 构造流失行为的特征

极端值的处理

极端值：又称离群值,往往会扭曲预测结果并影响模型精度。回归模型（线性回归，广义线性回归）中离群值的影响尤其大,使用该模型时我们需要对其进行检测和处理。

• 处理离群值或者极端值并不是数据建模的必要流程,然而,了解它们对预测模型的影响也是大有裨益的。
• 数据分析师们需要自己判断处理离群值的必要性,并结合实际问题选取处理方法。
• 检测离群值的重要性:由于离群值的存在,模型的估计和预测可能会有很大的偏差或者变化
• 可以选择对极端值不敏感的模型,例如KNN,决策树

那么如何检测某个特征数据是否存在极端值呢？
1）对样本数据进行可视化

由上图可知，对于“ASSET_CUR_ALL_BAL"这个特征的数据，很明显存在离群点。
经过对数据的统计可知：
①大于10000000的样本只占0.006%
②除去极端值外，其余样本的均值是115443，标准差是179359
③极端值是均值的386倍，偏离247个标准差

2. 3-sigma方法检
   一般来说，如果某个特征数据，最大值为maxValue，均值为mean，标准差为std。如果满足maxValue>mean+3*std，那么我们就认为这个特征数据存在离群点。

那么如果某个特征数据存在离群点，应该如何进行处理呢？

• 人为降低极端值到某个正常的值,例如用95%的分位点代替 例:因为透支的原因，导致信用卡使用额度超过100%,可以用100%来代替

def decrease_extreme_value(validDf,col):
    descStats = validDf[col].describe()
    mu = descStats['mean']
    std = descStats['std']
    maxVal = descStats['max']
    # detect the extreme value using 3-sigma method
    if maxVal > mu + 3 * std:
        for i in list(validDf.index):
            if validDf.loc[i][col] > mu + 3 * std:
                # decrease the extreme value to normal level
                validDf.loc[i][col] = mu + 3 * std
        # re-calculate the mean based on cleaned data
        mu = validDf[col].describe()['mean']

• 删除极端值（慎重） 例:极个别持卡人的年龄超过85岁
• 单独建模型 例:信用卡额度特别高

缺失值的处理

缺失类型

• 完全随机缺失:缺失值跟其他变量无关,例如婚姻状况的缺失
• 随机缺失:缺失值依赖于其他变量,例如“配偶姓名”的缺失取决于“婚姻状况”
• 完全非随机缺失:缺失值依赖于自己,例如高收入人群不愿易提供家庭收入

处理方法

• 删除有缺失值的属性或者样本(土豪行为)
• 插补填充(常用于完全随机缺失且缺失度不高的情形中)
• 将缺失当成一种属性值(常用于完全非随机缺失)

连续变量缺失值的处理

1）对于完全随机缺失,当缺失率不高时,可以:

• 用常数补缺,例如均值 特别地,如果存在极端值,要考虑是否剔除极端值后再计算均值
• 从非缺失值中随机抽样赋予缺失样本

def MakeupMissing(df,col,method):
    '''
    :param df: dataset containing columns with missing value
    :param col: columns with missing value
    :param type: the type of the column, should be Continuous or Categorical
    :return: the made up columns
    '''
    #Take the sample with non-missing value in col
    validDf = df.loc[df[col] == df[col]][[col]]
    if validDf.shape[0] == df.shape[0]:
        return 'There is no missing value in {}'.format(col)

    #copy the original value from col to protect the original dataframe
    missingList = [i for i in df[col]]
    #get the descriptive statistics of col
    descStats = validDf[col].describe()
    mu = descStats['mean']
    std = descStats['std']
    maxVal = descStats['max']
    #detect the extreme value using 3-sigma method
    if maxVal > mu+3*std:
        for i in list(validDf.index):
            if validDf.loc[i][col] > mu+3*std:
                #decrease the extreme value to normal level
                validDf.loc[i][col] = mu + 3 * std
        #re-calculate the mean based on cleaned data
        mu = validDf[col].describe()['mean']
    for i in range(df.shape[0]):
        if df.loc[i][col] != df.loc[i][col]: ##自己不等于自己，表示该数值为NAN缺失值
            #use the mean or sampled data to replace the missing value
            if method == 'Mean':
                missingList[i] = mu ## mu为剔除极端值以后的均值
            elif method == 'Random':
                missingList[i] = random.sample(validDf[col],1)[0] ##从非缺失值内随机抽一个样本进行填充

2）对于依赖于其他某变量的随机缺失,可以在同一层内,用完全随机缺失的方法进行补缺

• 例如:变量“收入”取决于“工作状态”。当“工作状态”=“有工作”时,缺失的“收入”可以用所有“有工作”的持卡人的已知收入的均值代替

3）对于完全非随机缺失,可以当成一种属性,将该变量转化成类别变量

• 直接进行二值化，将该特征数据分为缺失值和非缺失值两类
• 考虑给定一个step(比如age，我们可以考虑每隔2/3岁为一个步长)，然后把它离散化，之后把NaN作为一个type加到属性类目中。

类别变量缺失值的处理
当缺失率很低时

• 最常出现的类别补缺

• 可以从其他已知的样本中随机抽样进行补缺

   对于类别型变量的随机抽样补缺这里需要详细讲下：
   现在我们假设有一个类别型变量X,它有三个类型的取值分别为[x1,x2,x3],我们分布计算出x1,x2,x3在X中出现频率，分别为p1,p2,p3，
   并将其频率代替为其概率。很明显p1+p2+p3=1。再计算出其累积概率，以列表形式[0,p1,p1+p2,p1+p2+p3]。每次遇到一个缺失值时，
   随机抽取一个值a~unifor(0,1)，a是(0，1）之间的数， 如果a<p1:把x1来代替这个缺失值；如果p1<a<=p1+p2:把x2代替这个缺失值；
   如果p1+p2<a<=p1+p2+p3:把x3代替这个缺失值。
   证明：p(p1<a<p1+p2)=p(a<p1+p2)-p(a<p1) ##因为a是从(0,1)之间均匀抽出来的
    =(p1+p2)-p1 =p2，P2正好对应x2类别的概率，故此时我们用x2代替这个缺失值。。
  

def MakeupMissing(validDf,col){
    freqDict = {}
    recdNum = validDf.shape[0]
    for v in set(validDf[col]):
        vDf = validDf.loc[validDf[col] == v]
    freqDict[v] = vDf.shape[0] * 1.0 / recdNum
    # find the category with highest probability
    modeVal = max(freqDict.items(), key=lambda x: x[1])[0]
    freqTuple = freqDict.items()
    # cumulative sum of each category
    freqList = [0] + [i[1] for i in freqTuple]
    freqCumsum = cumsum(freqList)
    for i in range(df.shape[0]):
        if
    df.loc[i][col] != df.loc[i][col]:
    if method == 'Mode':
        missingList[i] = modeVal
    if method == 'Random':
    # determine the sampled category using unifor distributed random variable
        a = random.random(1)
    position = [k + 1 for k in range(len(freqCumsum) - 1) if freqCumsum[k] < a <= freqCumsum[k + 1]][0]
    missingList[i] = freqTuple[position - 1][0]
}

当缺失率很高时

• 考虑剔除该属性

当缺失率介于“很低”和“很高”时

• 可以当成一种类别

特殊变量的处理

对类别型变量编码

• one-hot编码

• 浓度编码

    这里需要详细讲下浓度编码：
    某类别型特征下，每一类数据对应的流失率或者是违约率（也可以是非流失率或者非违约率）作为这类数据的编码。
    例如性别这个特征：男性人数为x1,男性中流失人数x11,女性人数x2，女性中流失人数x22。
    那么我们以x11/x1作为男性编码；x22/x2作为女性编码。
  

def Encoder(df, col, target):
    '''
    :param df: the dataset containing categorical variable
    :param col: the name of categorical variabel
    :param target: class, with value 1 or 0
    :return: the numerical encoding for categorical variable
	df[target]：非0即1.
	'''
    encoder = {}
    for v in set(df[col]):
        if v == v:
            subDf = df[df[col] == v]
        else:
            xList = list(df[col])
            nanInd = [i for i in range(len(xList)) if xList[i] != xList[i]]
            subDf = df.loc[nanInd]
        encoder[v] = sum(subDf[target])*1.0/subDf.shape[0]
    newCol = [encoder[i] for i in df[col]]
    return newCol

• WOE编码

对日期/时间型变量

• 时间是否为一个节日，是否在一个时间段（类别型）；或者计算距离某个日子变成间隔型；或者某个时间段内发生了多少次变成组合型等等；这个需要结合具体应用场景。使其变成离散型。

• 可以基于某个基准日期,转化为天数
  以观察点为基准,将所有开户日期转为距离观察点的天数(month-on-book)

def Date2Days(df, dateCol, base):
    '''
    :param df: the dataset containing date variable in the format of 2017/1/1
    :param date: the column of date
    :param base: the base date used in calculating day gap
    :return: the days gap
    '''
    base2 = time.strptime(base,'%Y/%m/%d')
    base3 = datetime.datetime(base2[0],base2[1],base2[2])
    date1 = [time.strptime(i,'%Y/%m/%d') for i in df[dateCol]]
    date2 = [datetime.datetime(i[0],i[1],i[2]) for i in date1]
    daysGap = [(date2[i] - base3).days for i in range(len(date2))]
    return daysGap

构建流失行为的特征

内部自有数据

• 丰富的内部交易明细数据,包括本币活期储蓄波动率,本币活期储蓄月日均余额,。。。,电话银行总交易笔数

• 可以构建的特征:
  ①不同交易的数额的比例
  ②单笔交易的平均数额
  ③某种交易的笔数占全部交易笔数的比例

例如：

最大波动=max{本币一年以下波动,本币一年以上波动率,储蓄类资产波动率,本币储蓄波动率}

### Calculate the ratio between two variables
def ColumnDivide(df, colNumerator, colDenominator):
    '''
    :param df: the dataframe containing variable x & y
    :param colNumerator: the numerator variable x
    :param colDenominator: the denominator variable y
    :return: x/y
    '''
    N = df.shape[0]
    rate = [0]*N
    xNum = list(df[colNumerator])
    xDenom = list(df[colDenominator])
    for i in range(N):
        #if the denominator is non-zero, work out the ratio
        if xDenom[i]>0:
            rate[i] = xNum[i]*1.0/xDenom[i]
        # if the denominator is zero, assign 0 to the ratio
        else:
            rate[i] = 0
    return rate

若信息存在冗余，需要按情况进行剔除
情况一：

“本币活期月日均余额占比” = 1 – “本币定期月日均余额占比”

变量“本币活期月日均余额占比 ”与“本币定期月日均余额占比”存在冗余性,知道其一必知道其二,需要剔除一个。

#本币活期月日均余额占比 = 1 - 本币定期月日均余额占比
del modelData['LOCAL_CUR_MON_AVG_BAL_PROP']

情况二

“资产当前总余额 ”= “本币储蓄当前总余额 ”+ “外币储蓄当前总余额”

如果是**(广义)线性回归模型,三者不能同时放进模型**。对于树模型,可以将其中任意两个放进模型,剩余的做转换，比如做一个离散变换。

外部数据包含了客户在电信运营商的详情
包括:

• 通话时间与次数
• 话费详情
• 特定的呼叫行为
• 其他信息

可以衍生的特征
月平均通话时间的变化=过去三个月月平均通话时间 − 过去六个月月平均通话时间
月平均通话次数的变化=过去三个月月平均通话次数 − 过去六个月月平均通话次数
月平均缴纳话费的变化=过去三个月月平均缴纳话费 − 过去六个月月平均缴纳话费