项目案例之决策树在保险行业的应用
文章目录
前提知识基础:
- 信息熵
- 信息增益
- 信息增益比
- 决策树基本介绍
- 决策树原理介绍
- ID3算法
- C4.5算法
- CART树
- 决策树应用基础
- 分类模型的性能度量
- 混淆矩阵
- ROC曲线
- AUC面积
- 模型选择
- 交叉验证
- 超参数调参
- 对于保险行业的认知
业务背景——保险行业
业务环境
- 宏观
中国是世界第二大保险市场,但在保险密度上与世界平均水平仍有明显差距
- 业界
保险行业2018年保费规模为38万亿,同比增长不足4%,过去“短平快“的发展模式已经不能适应新时代的行业发展需求,行业及用户长期存在难以解决的痛点,限制了行业发展发展环境。
- 社会
互联网经济的发展,为保险行业带来了增量市场,同时随着网民规模的扩大,用户的行为习惯已发生转变,这些都需要互联网的方式进行触达。
保险科技:当前沿科技不断应用于保险行业,互联网保险的概念将会与保险科技概念高度融合。
(资料来源: 艾瑞研究院自主研究及绘制C2019.6 iResearch www.iresearch.com.cn)
**中国保险市场持续高速增长。**根据银保监会数据,2011~2018年,全国保费收入从1.4万亿增长至3.8万亿,年复合增长率17.2%。2014年,中国保费收入突破2万亿,成为全球仅次于美国、日本的第三大新兴保险市场市场;2016年,中国整体保费收入突破3万亿,超过日本,成为全球第二大保险市场;2019年,中国保费收入有望突破4万亿。
发展现状
- 概览
受保险行业结构转型时期影响,互联网保险整体发展受阻,2018年行业保费收入为1889亿元,
较去年基本持平,不同险种发展呈现分化格局,其中健康险增长迅猛,2018年同比增长108%,主要
由短期医疗险驱动
- 格局
供给端专业互联网保险公司增长迅速,但过高的固定成本及渠道费用使得其盈利问题凸显,加
发展现状强自营渠道建设及科技输出是未来的破局方法,渠道端形成第三方平台为主,官网为辅的格局,第三
方平台逐渐发展出B2C、B2A、B2B2C等多种创新业务模式。
- 模式
互联网保险不仅仅局限于渠道创新,其核心优势同样体现在产品设计的创新和服务体验的提升
竟合格局:随着入局企业増增多,流量争夺更加激烈,最终保险公司与第三方平台深度合作将成为常态
发展趋势
发展趋势
- 竞合格局
随着入局企业增多,流量争夺更加激烈,最终保险公司与第三方平台深度合作将成为常态。
发展趋势
- 保险科技
当前沿科技不断应用于保险行业,互联网保险的概念将会与保险科技概念高度融合。
衡量指标
图片来源:《聚焦客户体验,数据驱动重塑保险行业》白皮书
业务目标
针对保险公司的健康险产品的用户,制作用户画像,然后进行精准保险营销。
数据分析
分析流程框架
本次案例的数据数据的字段含义如下
导入数据
(特殊原因,无法分享数据)
import pandas as pd
df = pd.read_csv(r'data.csv', sep=',', header = 0)
df.shape
(5000000, 50)
在这里我们可以看到我们的数据是有5000000条记录和19个特征
数据探索性分析
描述性统计
在我们正式建模型之前,我们需要对我们的数据进行描述性统计,这样我们就能知道整个数据的大致分布是什么样的,做到心里有数,然后能够数据大致的全貌有一定的了解。
type_0=df.dtypes
type_0.to_excel( 'original.xlsx')
#将 KBM_INDV_ID 的int64转化为object
df['KBM_INDV_ID']=df['KBM_INDV_ID'].astype('object')
describe=df.describe().T
type(describe)
describe.to_excel( '../output/describe_var.xlsx')
# 引入画图模块
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np
# 为分类型变量:所处区的大小,创建直方图
plt.subplot(1, 2, 1)
sns.countplot(x='N2NCY', hue='resp_flag', data=df); #设置 x,y 以及颜色控制的变量,以及画图的数据
plt.xlabel('N2NCY');
plt.ylabel('Frequency');
#了解因变量的分布
Resp_count=df['KBM_INDV_ID'].groupby(df['resp_flag']).count()
print(Resp_count)
str(round(Resp_count[1]/len(df)*100,2))+str('%') #查看购买了
从这个图片我们可以看到,买了保险的用户和未买保险的人所处县的情况。
缺失值处理
我们需要对数据进行缺失值检查,先对每一条记录查看是否有缺失,然后查看一下每一个特征是否有缺失,然后进行相应的缺失值处理。
Next Step:
# 检查是否有缺失的行
df.shape[0]-df.dropna().shape[0] ###
# 检查是否有缺失的列
len(df.columns)-df.dropna(axis =1).shape[1] #626
NA=df.isnull().sum()
print('orginal NA=',NA)
NA=NA.reset_index()
NA.columns=['Var','NA_count']
NA=NA[NA.NA_count>0].reset_index(drop=True)
print(NA)
NA.to_excel( '../output/var_incl_na.xls',index=False)
####处理缺失值
var_char_na=[]
# 我们对连续型数据进行中位数填补,然后对离散型数据进行特殊值填补,我们这里利用的是N
for i in range(len(NA)):
if NA['NA_count'][i]/len(df)>0.75 or len(df[NA['Var'][i]].unique())<=2 :
del df[NA['Var'][i]]
elif df[NA['Var'][i]].dtypes!="object":
# 填充缺失值-中位数
for_na_value = df[NA['Var'][i]].quantile(0.5)
# for_na_value
df[NA['Var'][i]] = df[NA['Var'][i]].fillna(for_na_value)
elif df[NA['Var'][i]].dtypes=="object" and len(df[NA['Var'][i]].unique())<=3:
df[NA['Var'][i]] = df[NA['Var'][i]].fillna('N', inplace=True)
else:
var_char_na.append(NA['Var'][i])
var_char_na
处理分类型变量
#Drop Variables that are not necessary
drop_list=['STATE_NAME','KBM_INDV_ID']
for var in drop_list:
del df[var]
## 检查数据集中数值型变量和字符型变量
var_num = []
var_char_uniq2 = []
var_char_mul= []
for var in list(df):
if df[var].dtypes=="object" and len(df[var].unique())>2:
var_char_mul.append(var)
elif df[var].dtypes!="object" :
var_num.append(var)
else:
var_char_uniq2.append(var)
##处理多值型字符变量
for var in var_char_mul:
temp= pd.get_dummies(df[var], prefix=var, prefix_sep='_')
print(temp)
for var2 in list(temp):
if var2 in '_nan':
del temp[var2]
del df[var]
df = pd.concat([df,temp], axis=1)
del temp
len(df.columns) ##88
df.head(5)
df.to_excel( '../output/data.xls',index=False)
##处理二值型的字符变量
import numpy as np
from sklearn.preprocessing import LabelEncoder
def integer_encode(var):
values = np.array(df[var])
label_encoder = LabelEncoder()
df[var] = label_encoder.fit_transform(values)
for var in var_char_uniq2:
if len(df[var].unique())<2:
del df[var]
else: integer_encode(var)
建模
当我们发现,我们的数据中分类变量比较多,我们尝试采取决策树进行建模,
具体理由:我们做出来的模型需要指导业务人员进行使用,那么要求做出来的模型的可解释要高,而决策树模型的解释性就很强,那么业务人员理解起来就会很容易,那么之后进行应用就不用再专门进行对业务人员的培训,直接让他按照模型做出来的结果进行后续的业务,会提升效率。
# 引用sklearn 模块
from sklearn import tree
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
#from sklearn import cross_validation, metrics
from sklearn import metrics
from sklearn.model_selection import cross_val_score
#from sklearn.grid_search import GridSearchCV
from sklearn.model_selection import GridSearchCV
import matplotlib.pylab as plt
from matplotlib.pylab import rcParams
rcParams['figure.figsize'] = 12, 4
##在模型样本内将数据集7:3分,70%用来建模,30%用来测试
# 定义特征变量和目标变量
features= list(df.columns[1:])
X = df[features]
y = df['resp_flag']
# 将数据集7:3分,70%用来建模,30%用来测试
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.3)
clf = tree.DecisionTreeClassifier()
param_test={'min_samples_leaf':list(range(1000,6000,100)),'min_samples_split':list(range(4000,6000,100))}
gsearch = GridSearchCV(estimator=clf,
param_grid = param_test, scoring='roc_auc',n_jobs=1,iid=False, cv=5)
gsearch.fit(X_train,y_train)
#gsearch.grid_scores_, gsearch.best_params_, gsearch.best_score_
gsearch.cv_results_, gsearch.best_params_, gsearch.best_score_
验证输出结果
clf = tree.DecisionTreeClassifier(
class_weight=None,
criterion='gini',
max_features=None,
max_leaf_nodes=8,
min_samples_leaf=2000,
min_samples_split=5000,
min_weight_fraction_leaf=0.0,
splitter='best' )
results=modelfit(clf, X_train, y_train, X_test,y_test)
画出决策树
import os
import pydotplus
from IPython.display import Image
from sklearn.externals.six import StringIO
#os.environ["PATH"] += os.pathsep + 'C:/Users/yacao/Downloads/graphviz-2.38/release/bin'
dot_data = StringIO()
tree.export_graphviz(clf, #决策树分类器
out_file = dot_data)
输出规则
if (df['meda'][i] <= 56.5 ):
if (df['age'][i] <= 70.5 ):
if (df['c210hva'][i] <= 312.5 ):
if (df['ilor'][i] <= 10.5 ):
temp=11
segment.append(temp)
else:
temp=12
segment.append(temp)
else:
temp=8
segment.append(temp)
else:
if (df['tins'][i] <= 5.5 ):
temp=9
segment.append(temp)
else:
temp=10
segment.append(temp)
else:
if (df['pdpe'][i] <= 46.5 ):
if (df['MOBPLUS_M'][i] <= 0.5 ):
temp=13
segment.append(temp)
else:
temp=14
segment.append(temp)
else:
temp=4
segment.append(temp)
业务应用
我们来看一下购买比例最高的两类客户的特征是什么:
第一类:
- 处于医疗险覆盖率比例较低区域
- 居住年限小于7年
- 65-72岁群体
那么我们对业务人员进行建议的时候就是,建议他们在医疗险覆盖率比例较低的区域进行宣传推广,然后重点关注那些刚到该区域且年龄65岁以上的老人,向这些人群进行保险营销,成功率应该会更高。
第二类:
- 处于医疗险覆盖率比例较低区域
- 居住年限大于7年
- 居住房屋价值较高
这一类人群,是区域内常住的高端小区的用户。这些人群也同样是我们需要重点进行保险营销的对象。
除此之外,我们还可以做什么呢?
了解客户需求
我们需要了解客户的需求,并根据客户的需求举行保险营销。PIOS数据:向客户推荐产品,并利用个人的数据(个人特征)向客户推荐保险产品。旅行者:根据他们自己的数据(家庭数据),生活阶段信息推荐的是财务保险、人寿保险、保险、旧保险和用户教育保险。外部数据、资产保险和人寿保险都提供给高层人士,利用外部数据,我们可以改进保险产品的管理,增加投资的收益和收益。
开发新的保险产品
72岁群体
那么我们对业务人员进行建议的时候就是,建议他们在医疗险覆盖率比例较低的区域进行宣传推广,然后重点关注那些刚到该区域且年龄65岁以上的老人,向这些人群进行保险营销,成功率应该会更高。
第二类:
- 处于医疗险覆盖率比例较低区域
- 居住年限大于7年
- 居住房屋价值较高
这一类人群,是区域内常住的高端小区的用户。这些人群也同样是我们需要重点进行保险营销的对象。
除此之外,我们还可以做什么呢?
了解客户需求
我们需要了解客户的需求,并根据客户的需求举行保险营销。PIOS数据:向客户推荐产品,并利用个人的数据(个人特征)向客户推荐保险产品。旅行者:根据他们自己的数据(家庭数据),生活阶段信息推荐的是财务保险、人寿保险、保险、旧保险和用户教育保险。外部数据、资产保险和人寿保险都提供给高层人士,利用外部数据,我们可以改进保险产品的管理,增加投资的收益和收益。
开发新的保险产品
保险公司还应协助外部渠道开发适合不同商业环境的保险产品,例如新的保险类型,如飞行延误保险、旅行时间保险和电话盗窃保险。目的是提供其他保险产品,而不是从这些保险中受益,而是寻找潜在的客户。此外,保险公司将通过数据分析与客户联系,了解客户。外部因素将降低保险的营销成本,并直接提高投资回报率。