CDA LEVEL2 大纲解析案例题Python实现代码

数据下载：
http://exam.cda.cn/static/exam_attachment/L2jmjxshiti.zip

导入库

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings("ignore")
pd.options.display.max_columns = None

train_data = pd.read_csv('broadband_TrainingData.csv')
train_data.describe()

Q1：在训练数据集中，有接受服务（BROADBAND=1）的用户比例为何？

#方法一
train_data[train_data['BROADBAND']==1].shape[0] / train_data.shape[0]

#方法二
train_data.groupby('BROADBAND')['CUST_ID'].count() / train_data.shape[0]

Q2：在训练数据集中，哪两个申办通路（CHANNEL）用户接受服务的比例较高？

channel_pivot = train_data.pivot_table(index='CHANNEL', columns='BROADBAND', values='CUST_ID', aggfunc='count').reset_index()
channel_pivot['acc_per'] = channel_pivot[1] / (channel_pivot[0]+channel_pivot[1])
channel_pivot = channel_pivot.sort_values(by='acc_per', ascending=False)
channel_pivot

Q3：在训练集中，以下哪些描述是正确的？
A.用户往来期间（TENURE）越高者，接受服务的比例越高；
B.年龄（AGE）越大者，接受服务的比例越高；
C.最近3个月平均电话费（ARPB_3M）越高者，接受服务的比例越低；
D.有办自动转账扣缴（AUTOPAY）者，接受服务的比例越高。

# A：TENURE
quartiles = pd.cut(np.sort(train_data['TENURE'].unique()), list(range(0, 75, 3))) #这边按步长3分组
grouped = train_data.groupby('TENURE')['BROADBAND'].agg(['count', 'sum']).reset_index()
new_grouped = grouped.groupby(quartiles)['count', 'sum'].sum()
new_grouped['acc_per'] = new_grouped['sum'] / new_grouped['count']
new_grouped['acc_per'].plot.bar()

# B：AGE
quartiles = pd.cut(np.sort(train_data['AGE'].unique()), list(range(0, 80, 3))) #这边按步长3分组
grouped = train_data.groupby('AGE')['BROADBAND'].agg(['count', 'sum']).reset_index()
new_grouped = grouped.groupby(quartiles)['count', 'sum'].sum()
new_grouped['acc_per'] = new_grouped['sum'] / new_grouped['count']
new_grouped['acc_per'].plot.bar()

# C：ARPB_3M
quartiles = pd.cut(np.sort(train_data['ARPB_3M'].unique()), list(range(0, 1400, 100))) #这边按步长3分组
grouped = train_data.groupby('ARPB_3M')['BROADBAND'].agg(['count', 'sum']).reset_index()
new_grouped = grouped.groupby(quartiles)['count', 'sum'].sum()
new_grouped['acc_per'] = new_grouped['sum'] / new_grouped['count']
new_grouped['acc_per'].plot.bar()

# D：AUTOPAY
grouped = train_data.groupby('AUTOPAY')['BROADBAND'].agg(['count', 'sum']).reset_index()
grouped['acc_per'] = grouped['sum'] / grouped['count']
grouped['acc_per'].plot.bar()

Q4：在训练数据集中，以下哪些字段的分布是属于右偏？
A、ARPB_3M
B、TENURE
C、NIGHT_MOU
D、以上皆非

#偏度大于0是右偏
train_data.skew()

Q5：在训练数据集中，以平均值法来侦测离群值（Outlier），以下哪些字段会有离群值的出现？
A、AGE B、TENURE C、AFTERNOON_MOU D、DAY_MOU

def find_outlier(df):
    '''侦测离群值'''
    if (t_mean - 3*t_std) <= df[col_name] <= (t_mean + 3*t_std):
        return 1
    else:
        return 0

for col_name in ['AGE', 'TENURE', 'AFTERNOON_MOU', 'DAY_MOU']:
    df_temp = train_data.copy()
    t_mean = train_data[col_name].mean()
    t_std = train_data[col_name].std()
    df_temp['answer'] = df_temp.apply(find_outlier, axis=1)
    if df_temp['answer'].sum() == df_temp.shape[0]:
        print('{}无离群值'.format(col_name))
    else:
        print('{}有离群值，个数为{}'.format(col_name, df_temp.shape[0] - df_temp['answer'].sum()))

Q6：在训练数据集中，最近3个月平均电话费（ARPB_3M）经分析也有严重的离群值出现，利用平均法计算出其值的上线为625.请将ARPB_3M>625的记录筛选出来，其有接受服务（BROADBAND=1）的用户比例为何？
A、70.23% B、14.29% C、85.71% D、65.71%

train_data[train_data['ARPB_3M']>625]['BROADBAND'].sum()/train_data[train_data['ARPB_3M']>625]['BROADBAND'].count()

Q7：下列的描述何者是正确的？
A、无效的字段包括不相关（Irrelevant）及多余（Redundant）的字段
B、多余的字段可通过统计的检验来加以排除
C、可用卡方检验来检验TENUNE与目标字段BROADBAND的相关性
D、可用AVOVA检验来检验AFTERNOON_MOU与目标字段BROADBAND的相关性

Q8：在训练数据集中，请根据统计的检验的计算结果，分析以下哪个字段是最不重要的字段？
A、TENURE B、AGE C、AVG_CALL_LENGTH D、NIGHT_MOU

import statsmodels.stats.anova as anova
from statsmodels.formula.api import ols

for col in ['TENURE', 'AGE', 'AVG_CALL_LENGTH', 'NIGHT_MOU']:
    print(col + '的ANOVA结果是：')
    print(anova.anova_lm(ols('{}~BROADBAND'.format(col),train_data).fit()))
    print('\n')

红色部分越大的越不重要