sklearn 相关性分析_广告渠道分析

1 项目背景

由于投放的广告渠道比较多，需要对其做广告效果分析以实现有针对性的广告效果测量和优化工作。通过数据分析将广告分类并找出其重点特征，为接下来的业务讨论和数据分析提供支持。

2 主要技术

数据预处理：数据标准化MinMaxScaler、字符串分类转整数型分类DictVectorizer

数据建模：KMeans聚类、平均轮廓系数metrics.silhouette_score

数据可视化：matplotlib雷达图

3 字段解释

原始数据共889条记录，包含13个字段

渠道代号：渠道的唯一代号

日均UV：平均每天独立访客数

平均注册率：日均注册用户数/平均每天访问量

平均搜索量：平均每个访问的搜索次数

访问深度：总页面浏览量/平均每天的访问量

平均停留时间：总停留时间/平均每天访问量

订单转化率：总订单数/平均每天访问量

投放总时间：每个广告渠道在站外投放的天数

素材类型：广告素材的类型，包括jpg、gif、swf、sp

广告类型：广告投放类型，包括banner，tips，横幅等

合作方式：广告合作方式，包括ROI、CPC、CPM、CPD等

广告尺寸：每个广告投放的尺寸大小

广告卖点：广告素材上的主要卖点，包括打折、满减、直降等

4、建模分析

4.1 导入库

主要用到的库包括：

DictVectorizer：用于将字符串分类转换为整数型分类

MinMaxScaler：数据标准化库

KMeans：K均值聚类算法模块

metrics：sklearn效果评估模块

matplotlib.pyplot:数据可视化模块

4.2 读取数据

4.3 查看数据

数据类型为float64和object两种，接下来查看是否包含缺失值。

“平均停留时间”字段有2个缺失值，需要进行替换。接下来看看字段的描述性统计分析。

从表中可以看出，日均UV的波动性很大，说明不同渠道带来的日均UV差异明显。

平均停留时间的有效数据为887条，其余为889条，缺少2条数据。

平均注册率、平均搜索量以及订单转化率数值很小，后续聚类分析前需要进行数据标准化操作。

相关性分析发现平均停留时间与访问深度的相关系数为0.72，这两个指标具有较高的相关性，而其他特征之间的相关性不明显。

4.4 数据预处理

首先将“平均停留时间”中的缺失值替换为均值。

然后将字符串分类转换为整数分类，字符串类型字段包括“素材类型”、“广告类型”、“合作方式”、“广告尺寸”、“广告卖点”5个字段，共889个个案。

创建唯一值列表，找出每个字段的唯一值。

唯一值列表如图所示：

创建列表用于存放每个个案在唯一值列表中的索引

结果如图所示：

接下来要把字典数据转换为整数数值，建立DictVectorizer模型将字典转换为整数数据，结果如图所示：

然后是将前面数值型字段需要进行数据标准化，包括日均UV、平均注册率、平均搜索量、访问深度、平均停留时间、订单转化率、投放总时间共7个字段。

利用MinMaxScaler模型进行标准化处理，处理结果如图所示

然后将标准化和数值化的数组合并，如图所示

4.5 数据建模

通过平均轮廓系数来检验KMeans聚类模型的K值是否为最佳，平均轮廓系数越大表示类内距离越小，类间距离越大，K值更好。建模过程如图所示：

通过平均轮廓系数检验，聚类K=4时，得分0.5697为最大值，因此4为最佳K值。

4.6 结果分析

整合原始数据与聚类标签，结果如图所示：

统计各个聚类类别的样本量及样本占比。

聚类类别最大的样本量为索引为0的类别，占总样本46%，最小为索引为2的类别，占总样本3%。

各聚类类别的描述性统计分析。

这样，cluster_features里就存放了每个类别的描述性统计信息，将其保存到DataFrame中，如图所示：

再将所有数据合并到一起

各类别特征如图所示，聚类1（索引值0）的占比最大，其次是聚类2（索引值1），聚类3（索引值3），最少占比是聚类3（索引值2），为了更直观的比较各聚类类别在不同特征中的表现，通过雷达图进行对比展示。

4.7 数据可视化

选择要在雷达图中展示的数值型字段，包括日均UV、平均注册率、平均搜索量、访问深度、平均停留时间及订单转化率，并将数据标准化处理，结果如下。

绘制雷达图：

结果如图所示：

雷达图中可以很直观的看出各个不同聚类广告在各方面的表现的对比。

聚类1（索引为0）：各方面的表现都不是很明显，广告的效果不是很理想，但却占据了广告投放的渠道的46%，需要同业务方讨论今后的取舍问题。

聚类2（索引为1）：这类广告在平均搜索量、平均停留时间和订单转化率几个方面表现较好，但在日均UV和注册转化率方面存在短板，这类广告渠道也占据了很大一部分，为33%的占比。

聚类3（索引为2）：这类广告的表现在平均停留时间、订单转化率、日均UV、访问深度以及平均搜索量5个方面的表现都是最好的，但却仅占3%的广告投放占比，这部分渠道属于少量的“精英”类渠道。

聚类4（索引为3）：这类渠道跟其他几类渠道有很明显特征区别，其在平均注册率上的变现非常突出，其他方面的变现平平，可以认为这类渠道属于“拉新”的重要渠道。

5 结论应用

对于聚类分析得到的四类广告渠道，可以在不同的场景时选择。

聚类1广告渠道在资金不足或优化广告结构的时候可以不采用。

聚类2和聚类3的广告渠道是提升流量质量的重要渠道。聚类3广告渠道由于在各方面都变现很好，应该考虑优先投放，结合聚类2广告渠道可以显著提升订单转化率、平均停留时间、访问深度、平均搜索量和日均UV。广告的宣传点以打折、直降为重点。

聚类4广告渠道是重要的拉新渠道能显著提升平均注册率，带来新客户，可以作为每次大型促销活动的引流渠道。