数据分析综合实训

目录

1 项⽬背景与⽬标

1.1 项⽬背景

1.2 项⽬⽬标

2 客户数据预处理与客户交易⾏为分析

2.1 数据集介绍

2.2 数据预处理

2.2.1对客户数据进行格式转换

2.2.2数据统计分析

2.2.3查看客户总数

2.2.4交易时间异常值检测

2.2.5交易时间异常值处理

2.2.6交易金额异常值处理

2.2.7交易附言缺失值处理

2.2.8时间格式和时区转换

2.2.9量纲转换

2.2.10重复数据处理

2.3 客户交易⾏为分析

2.3.1交易次数随时间的可视化分析

2.3.2交易金额随时间的可视化分析

2.3.3交易有效时段的限定

2.3.4每天24小时交易次数的分布

2.3.5客户交易次数的可视化分析

2.3.6客户平均交易金额的可视化分析

2.3.7客户交易流入流出次数的可视化分析

2.3.8客户交易流入流出金额的可视化分析

2.3.9交易附言文本预处理

2.3.10交易附言词云绘制

2.3.11交易附言关键词提取

3 客户标签体系构建

3.1 客户标签体系介绍

3.2 事实类标签构建

3.2.1事实类标签的计算（交易次数和交易总额）

3.2.2事实类标签的计算（转账次数和转账总额）

3.2.3事实类标签的计算（其他）

3.3 规则类标签构建

3.3.1规则类标签的计算（有无高端消费）

3.3.2规则类标签的计算（是否休眠客户）

3.3.3规则类标签的计算（计算时间差）

3.3.4规则类标签的计算（近度、频度、值度）

3.3.5规则类标签的计算（RFM总得分）

3.4 预测类标签构建

3.4.1RFM可视化分析

3.4.2客户价值等级数据的读取

3.4.3One_Hot编码

3.4.4日期等距离散化

3.4.5连续型数值等频离散化

3.4.6训练测试集的划分

3.4.7构建客户价值等级预测模型

3.4.8预测客户价值等级

3.4.9客户价值等级分布

3.4.10客户标签间的相关性

3.4.11客户价值等级与是否拥有高端消费的可视化分析

3.4.12月均消费频度的可视化分析

3.4.13客户等级与月均消费频度的可视化分析

3.5 ⽂本类标签构建

3.5.1合并交易附言

3.5.2CountVectorizer词频矩阵计算

3.5.3 TfidfVectorizer词频矩阵计算

3.6 典型客户画像分析

3.6.1描绘用户画像

3.6.2客户文本标签的分析

3.6.3客户数值标签的分析

3.6.4描绘客户画像

3.6.5客户文本标签的分析

3.6.6客户数值标签的分析

4 精准营销应⽤

4.1 商品兴趣排⾏榜的构建

4.1.1时间差的计算

4.1.2基于时间的商品兴趣度计算

4.1.3基于消费金额的商品兴趣度计算

4.1.4 基于tf-idf的商品兴趣度计算

4.1.5数据归一化

4.1.6商品兴趣度排行榜的综合计算

4.1.7交易次数的可视化

4.1.8交易金额的可视化

4.2 ⽬标客户的筛选

5 项⽬总结与⼼得体会

5.1 项⽬总结

5.2 项⽬⼼得

指导教师评语及成绩

1 项⽬背景与⽬标

1. 1. 项⽬背景

大数据时代下，数据营销开始逐渐走红。大数据营销，其本质上区别于传统营销，是一种利用数据实现精准化投放的科学化的营销方法。企业如何驾驭数据，利用数据驱动营销、支持决策，是形成差异化竞争优势的关键所在。如何通过对数据的采集、处理、分析，洞察用户需求，精准找到目标用户群并提供相应的方案，更是企业营销乃至差异化竞争中的重中之重。

1. 1. 项⽬⽬标

通过对海量交易流水数据的深度分析和挖掘，构建全方位的客户标签体系。基于客户标签体系，从基本信息、消费能力、行为习惯等多个维度对客户进行精准画像。计算客户商品兴趣度排行榜，支持精准目标客户筛选。

2 客户数据预处理与客户交易⾏为分析

2.1 数据集介绍

用到的数据集

data.csv:用户消费数据

dbo.csv:客户价值等级数据

user_labels:客户事实类和规则类标签数据

user_too:全部标签

2.2 数据预处理

2.2.1对客户数据进行格式转换

图1  data数据前五行

2.2.2数据统计分析

图2  data数据前5行及数据形状

2.2.3查看客户总数

图3 客户总数及交易次数图

2.2.4交易时间异常值检测

图4  异常值及数量输出结果图

2.2.5交易时间异常值处理

图5  交易时间异常值处理结果输出图

2.2.6交易金额异常值处理

图6  交易金额异常值处理结果输出图

2.2.7交易附言缺失值处理

图7  交易附言缺失值处理结果输出

2.2.8时间格式和时区转换

图8   时间格式和时区转换后的data数据前5行图

2.2.9量纲转换

图9  量纲转换后的data数据前5行图

2.2.10重复数据处理

图10  重复数据处理结果输出图

2.3 客户交易⾏为分析

2.3.1交易次数随时间的可视化分析

图11  不同时间的交易次数分布图

2.3.2交易金额随时间的可视化分析

图12  不同时间的交易金额分布图

2.3.3交易有效时段的限定

2.3.4每天24小时交易次数的分布

图13  每天24小时交易次数分布图

2.3.5客户交易次数的可视化分析

图14   客户交易次数分布图

2.3.6客户平均交易金额的可视化分析

图15  客户平均交易金额分布图

2.3.7客户交易流入流出次数的可视化分析

 

图16  客户交易的流入流出次数分布图

2.3.8客户交易流入流出金额的可视化分析

 

图17  客户交易的流入流出金额分布图

2.3.9交易附言文本预处理

图18  交易附言文本预处理后的 data数据前5行

2.3.10交易附言词云绘制

 

图19  交易附言词云图

2.3.11交易附言关键词提取

 

图20  交易附言关键词图

3 客户标签体系构建

3.1 客户标签体系介绍

构建了事实类标签、规则类标签、预测类标签、文本类标签、典型画像客户分析

3.2 事实类标签构建

3.2.1事实类标签的计算（交易次数和交易总额）

图21  交易次数和交易总额图

3.2.2事实类标签的计算（转账次数和转账总额）

图22  转账次数和转账总额图

3.2.3事实类标签的计算（其他）

 

图23  其他事实类标签的计算

3.3 规则类标签构建

3.3.1规则类标签的计算（有无高端消费）

图24  有无高端消费图

3.3.2规则类标签的计算（是否休眠客户）

图25  是否休眠客户图

3.3.3规则类标签的计算（计算时间差）

图26  计算天数图

3.3.4规则类标签的计算（近度、频度、值度）

图27  近度、频度、值度的计算图

3.3.5规则类标签的计算（RFM总得分）

 

图28  RFM的总得分图

3.4 预测类标签构建

3.4.1RFM可视化分析

图29   RFM可视化分析图

3.4.2客户价值等级数据的读取

图30  客户价值等级数据图

3.4.3One_Hot编码

 

图31  对消费渠道进行编码后的图

3.4.4日期等距离散化

图32  日期等距离散化图

3.4.5连续型数值等频离散化

 

图33  连续型数值等频离散化图

3.4.6训练测试集的划分

图34  训练测试机划分图

3.4.7构建客户价值等级预测模型

图35   客户价值等级预测模型图

3.4.8预测客户价值等级

图36  客户价值等级预测图

3.4.9客户价值等级分布

图37  客户价值等级分布图

3.4.10客户标签间的相关性

 

图38  客户标签间的相关性热力图

3.4.11客户价值等级与是否拥有高端消费的可视化分析

 

图39  客户价值等级与是否拥有高消费图

3.4.12月均消费频度的可视化分析

 

图40  月均消费频度图

3.4.13客户等级与月均消费频度的可视化分析

图41  客户价值等级与月均消费频度图

3.5 ⽂本类标签构建

3.5.1合并交易附言

图42  合并交易附言图

3.5.2CountVectorizer词频矩阵计算

 

图43   CountVectorizer词频矩阵计算输出结果图

3.5.3 TfidfVectorizer词频矩阵计算

图44   TfidfVectorizer词频矩阵计算输出结果图

3.6 典型客户画像分析

3.6.1描绘用户画像

图45  用户画像词云图

3.6.2客户文本标签的分析

图46  客户文本标签的分析结果输出图

3.6.3客户数值标签的分析

 

图47  客户数值标签分析结果输出图

3.6.4描绘客户画像

图48  客户画像词云图

3.6.5客户文本标签的分析

图49  客户文本标签的分析结果输出图

3.6.6客户数值标签的分析

 

图50  客户数值标签的分析结果输出图

4 精准营销应⽤

4.1 商品兴趣排⾏榜的构建

4.1.1时间差的计算

图51  时间差的计算结果输出图

4.1.2基于时间的商品兴趣度计算

图52  基于时间的商品兴趣度计算结果输出图

4.1.3基于消费金额的商品兴趣度计算

图53 基于消费金额的商品兴趣度计算结果输出图

4.1.4 基于tf-idf的商品兴趣度计算

图54  基于tf-idf的商品兴趣度计算结果输出图

4.1.5数据归一化

图55  数据归一化结果输出图

4.1.6商品兴趣度排行榜的综合计算

图54  数据归一化结果输出图

4.1.7交易次数的可视化

 

图55  彩票交易次数变化

4.1.8交易金额的可视化

图56  彩票交易次数变化图

4.2 ⽬标客户的筛选

图57  目标客户的筛选图

5 项⽬总结与⼼得体会

5.1 项⽬总结

根据大数据分析，找到客户的实际需求，提升用户体验。客户数据收集与处理是一个数据准备的过程，是数据分析和挖掘的基础，是搞好精准营销的关键和基础。通过构建全方位的客户标签体系。基于客户标签体系，从基本信息、消费能力、行为习惯等多个维度对客户进行精准画像。计算客户商品兴趣度排行榜，支持精准目标客户筛选。从而对营销活动的执行、渠道、产品和广告的有效性进行评估，为下一阶段的营销活动打下良好的基础。

5.2 项⽬⼼得

通过这次综合实训，我掌握了试验数据统计分析的基本原理，并能针对实际问题正确地运用，为将来的学习工作打下扎实基础。这次 Python实训不仅是对往期学习的巩固和加深，更是一次温故知新的过程，在和小组成员的共同学习努力下，对现有知识又获得了新的认识，对于之前学过的Python的基本数据类型、程序的控制结构、函数的代码复用、正则表达式、组合数据类型、文件和数据格式化等，都有了新的认识与理解，并深刻感受到Python简洁却强大、简单却专业的强大魅力。

总而言之，本次实验令我们受益匪浅，有所收获。