1、会员权益效果评估
1、引言
当前K电商平台权益的评价指标采用的是用使用率进行评估的，但运营在实际的过程中需要了解权益解决两个问题：
1）哪些权益是用户真正喜欢的权益？
评估用户是否喜欢此权益，可以通过权益的使用率进行衡量，因此用户喜欢才会使用，存在一定因果关系。但是因K电商权益不需要主动领取，而是默认使用，可能存在大量自然使用率，因此评估用户是否真正喜欢权益程度(User liking level,缩写ULL)需要提出默认使用的权益的人，则ULL的计算公式可如下1所示：
ULL=总使用率-自然使用率 （1）
2）权益上线后收益效果如何，是盈是亏？
盈亏平衡的计算主要是收入减去成本，因此权益的收益评估也可以转换为权益带来的收益减去权益实际的成本。权益的成本是明确的，即平台对每个权益付出的实际金额成本，比如专属客服每单的咨询费、红包的金额等。权益的收益则是从权益的目标出发，最终达成的收益，比如非会员的转化率、会员的客单提升、会员订单下单转化，这些目标最终会体现在用户下单金额上，因此权益的收益电商选择订单交易金额（Gross Merchandise Volume，缩写GMV）衡量，权益的增益收益则是用户在使用权益后与用户使用权益前的GMV提升效果，但GMV中还包含其他成本，比如商品成本、运费成本、仓储成本，为l避免这些因素影响评估结果，本文直接选择毛利率乘以GMV可得到权益真正收益。单个会员权益收益则为总收益除以总人数，因此单个权益收益（Individual equity income，缩写IEI）计算公式如下（2）所示：
IEI=平均使用权益后的GMV-平均使用权益前的GMV*毛利-单权益成本
（2）
2、权益评估方案研究
在ULL计算中，遇到的最大的问题是如何计算自然使用率。通过文献查阅已知，会员权益属于特殊类型的营销活动，根据关于对营销活动效果评估文献可知，营销活动评估方式主要是通过营销活动前后转化率对比进行评估。电商平台主要有两种模型式，第一个响应模型（response model），第二种方式为营销增益模型。
响应模式是指用户在营销前和营销之后的转化率的差别，以商品营销活动说明，如表5.1所示。以表5.1营销增益的结果，一般情况下可能会做出以下的决策：在营销活动中会选择第二种营销活动，因为第二种营销活动转化率更高，但当进一步分析，带入自然使用率的概念，则会考虑使用第一种活动带来增益效果更高，因此如果使用响应模式分析时可以会做出错误的决策。
表1 响应模型计算示例
Table 5.1 Response model calculation example
| 无活动 | 有活动 | 营销增益 | |
| 活动1 | 0.8% | 1.5% | 0.7% |
| 活动2 | 2.0% | 2.3% | 0.3% |
响应模型只计算营销前后效果对比，营销增益模型则是从用户出发，引入因果推断区分自然转化率和营销敏感人群，根据营销增益模型将K电商平台付费用户分为四类人群如表5.2所示。
表2 K电商付费用户对某权益喜爱程度分类
Table 5.2 Classification of K e-commerce paying users’ preference for certain rights
| 用户分类 | 用户描述 | |||
| TR | 敏感人群 | 喜欢当前权益 | ||
| CN | 自然转化 | 一般般 | ||
| TN | 无动于衷 | 不喜欢 | ||
| CR | 活动反感 | 讨厌 | ||
营销增益模型的学术规定是关于一个个体对某项干预措施的因果关系，对比个体在干预和不干预这两种情况下的结果，公式如下（3）所示：
P(Yi|Xi,Ti=1)- P(Yi|Xi,Ti=0) （3）
其中Y表示用户干预结果，X为用户相关特征，T表示干预事件。1表示有干预，0表示未没有干预。因不能同时知道一个用户在干预和不干预下的结果，因此需要找到两个同质群体，进行对比分析。
营销增益模型实现的前提是实验组和对照组需要分布均匀，但从K电商平台整体转化率来看当前使用权益的人数占比很低，数据极度不平衡，直接使用全量数据是合理的，且当前需要评估历史权益，无法通过ABtest获取对照组的用户数据，因此本文引入PSM模型，通过PSM模型为营销增益模型提供实验组和对照组用户，同时也解决IEI计算中需要同质人群的计算。
PSM模型主要解决的问题是在数据分析过程中无法获取平行时空的数据时，可通过找寻与实验组用户相似的用户，让近似的用户成为对照组。以K电商平台的权益消费券为例，在为营销增益模型提供数据时，会随机选择一部分付费制会员群体为实验组，通过PSM模型在所有非会员人群中寻找同质人群组成对照组，大致上对照组人群除了不是会员外，其他信息与会员的相关特征基本一致或者相似，极端的情况下对照组的某个用户对应的应该是某个用户未成为付费会员的状态。
结合营销增益模型和PSM模型的，最终整理总结出两个营销评价指标：
1）用来衡量权益活动的喜欢程度通过权益使用率衡量。用会员权益使用率减去会员自然使用人群。公式中将讨厌人群和无动于衷人群都归到喜爱人群，主要是选择的乐观原则计算的结合营销增益模型，计算公式调整如下（4）所示：
（4）
2）会员权益的盈亏平衡计算是用户使用权益后与权益前的GMV对比，用户使用权益前可以通过PSM模型找到这些用户的同质人群，通过对比同质人群的获得权益的收益，基于这些收益减去权益成本，最终可获得权益的收益。为了避免因匹配中遇到数据问题，本文以下的指标都采用的平均值。当IEI小于0时，当表示该权益需要优化，并调整其成本结构。现存的权益计算公式可以调整为如（5）所示：
3、评估思路
根据对权益评估评估的方案的理论研究，梳理权益实施的具体流程，整体的权益评估框架如图5.1所示。
图1 权益评估管理框架
评估每个权益的评估流程都是一致，因此本文研究过程选择刚上线的鲜花权益为例进行研究，选择鲜花权益为本文研究对象原因在于鲜花权益根据福格行为模型设计的，且为新上线的权益，新权益上线可以在上线初期也进行AB测试，因此可以通过这两种方式对结果进行对比差异分析。
2、PSM模型构建
本小节主要是通过R语言实现PSM模型的建立，在R语言中选择Matchit程序包实现模型建设，模型输入和输出结果如下图5.2所示。输入主要是选定的会员和所有非会员用户，输出的选定的会员匹配到的非会员用户。
2 PSM模型
1、数据输入
1）数据来源
本文的数据主要是通过程序随机生成的，可调整为自身系统的数据。
2）变量选取
自变量是首次是根据公司运营常用的用户指标进行选择的，选择以下的指标为变量。
2、倾向性匹配得分计算和结果输出
在明确变量指标后，对PSM模型进行构建，主要涉及到以下几部分内容。
- 倾向性匹配得分计算
因有两组变量，选择逻辑回归进行计算得分。因变量为用户使用权益conversion，自变量为用户特征变量。
- 倾向性得分匹配
- PSM在两组匹配有1:1和1：n两种方式，因后续对比过程中采用的是单个用户的平均值进行对比，所以本文选择1:1的匹配方式。
- 在R语言中，MatchIt已经将匹配方式封装好，直接调用即可，主要提供近邻匹配、卡钳匹配、半径匹配、以及多重匹配等这几种匹配方式。最近邻匹配（Nearest-neighbor matching）是在对照中组中寻找与处理组个体的关联评分最接近的个体，然后将其进行匹配。半径匹配（Radius matching）是与卡钳匹配类似，半径匹配也是在对照组中寻找倾向评分在一定范围内的个体进行匹配。卡钳匹配（Caliper matching）是根据趋势评分进行匹配，通过作业范围或限制条件约束成果研究对象。多重匹配（Multi-level matching）是指在一个匹配过程中，将多个协变量纳入考虑范围，以更全面地评估研究对象之间的相似性。
- 匹配后数据是否放回，本文选择无放回匹配
在PSM中，SMD（Standardized Mean Difference）检验和p值检验是两种不同的方法，用于评估匹配后处理组和控制组之间的平衡性和差异性。SMD用于量化差异的大小，而p值检验用于确定这些差异是否具有统计显著性。进行平衡性的检验主要是为在使用过程中了解其结果的可靠性，在后续营销模型创建中，知道其可信度。
2.3.1SMD检验
SMD（Standardized Mean Difference）用于比较匹配后处理组和控制组之间每个特征的差异。如果SMD的值接近零（通常小于0.2），则表示匹配是有效的，处理组和控制组在该特征上的平衡性较好。var.Ratio代表方差比值，越接近1越表示当前两组协变量是平衡的。
2.3.2 P值检验
p值检验通常使用统计假设检验来评估处理组和控制组之间的差异。如果p值小于显著性水平（通常为0.05），则可以拒绝零假设，表示存在显著差异。如果p值大于显著性水平，则不能拒绝零假设，表示没有显著差异。表5.4是匹配前后的P值，对比结果可见除了“用户性别”和“本月购买的次数之外，当前在匹配后显著性差异有所改善。后续研究中会考虑调整这两个协变量.
4、数据结果保存
在通过平衡性检验后，保存输出的结果，结果是根据控制组输出的用户ID，此用户ID则是通过PSM匹配到的对照组的用户ID。
3、基于营销增益模型对权益评估的构建
本节主要是通过Python语言构建营销增益模型，构建模型的输入和输出如图所示5.9所示。主输入模块主要是PSM模型的实验组和对照组，输出是用户标签，即用户当前的用户分类，在根据用户分类标签计算增益值。
1、数据概述
2、数据分析
此处可对进行简单分析，数据集中采用7个特征，这7个特征都以转化为数值特征。对这7个特征进行简单分析。本文采用了小提琴图示法，可以更清晰看清用户的分布情况，各种特征使用权益的数据如下图5.11所示
3、评价预测算法前的数据预处理
本次研究暂不涉及多类型的干预的提升处理。在进行建模之前，对数据进行预处理。
1）首先去权益进行编码，使用权益为1，不使用权益为0
2）检测数据的完整性，删除有为空的数据。
3）将总体划分为测试数据和训练数据这两部分，因在实际营销活动中，无法在模型已经进行的情况再次收益数据，常规方式是将总数据分为8:2，因训练集的数据占比20%。在划分的时候，使用model_selection中的train_test_split方法以及将“random_state”设置为“1”，得到样本数据集和测试数据集。
4、预测算法的选择
在用模型评估之前，首先需要明确算法。选择一个最佳的算法目的是确保对人群分类尽可能准确和转化率预测的精确度更高，以便在后期的权益效果评估能得到中肯的评价。
1）算法评价
本文主要使用混淆矩阵和F1 Score 对算法进行详细的评价。
数据集一共有61000条数据，其中61000条训练样本用于机器学习，12200条数据样本用于机器算法学习的评价。
本文主要选择三种机器学习算法，逻辑回归算法、随机森林算法、XGBoost算法。对这三种算法进行训练生产混淆矩阵并计算精确率、召回率、FI Score。-
（1）逻辑回归算法
可得到类似的结果：混淆矩阵结果如表所示5.6所示。
表5.6 逻辑回归混淆矩阵结果
Table 5.6 Logistic regression confusion matrix results
| 逻辑回归 | P | N |
| P’ | 8410 | 355 |
| N’ | 3166 | 269 |
其中精确度：72.65%；召回率：95.95%；FI score：82.69%。
（2）随机森林算法
混淆矩阵结果如表所示5.7所示。
表5.7随机森林算法混淆矩阵结果
Table 5.7 Random forest algorithm confusion matrix results
| 随机森林 | P | N |
| P’ | 8693 | 117 |
| N’ | 3335 | 55 |
其中精确度：72.27%；召回率：98.67%；FI score：83.43%。
（3）XGBoost算法
混淆矩阵结果如表所示5.8所示。
表5.8 XGBoost算法混淆矩阵结果
Table 5.8 XGBoost algorithm confusion matrix results
| XGBoost算法 | P | N |
| P’ | 8890 | 49 |
| N’ | 3233 | 28 |
其中精确度：73.32%；召回率：99.45%；FI score：84.42%。
通过第一次的计算，结合精确度、召回率、FI score这三个指标，目前可以看出XGoost已微弱的优势赢得其他两种算法，为了确保更加准确性，又将参数“random_state”循环50次，并且计算这50次的平均值，得到逻辑回归算法：83.00 %；随机森林算法：83.39%；XGBoost 算法：84.46%。
2）算法选择
在对算法进行机器学习后，针对这三个模型得到对应的衡量指标，基于精确度、召回率和FI score 这三个指标的对比分析，可以看出XGBoost算法略微的优势，后续又进行50次重复计算，XGBoost算法仍然略优与其他两个算法。因此，在后续的营销增益模型中，本文选择使用XGBoost算法进行预测。
5、营销增益模型搭建
基于营销评估指标，本文营销评估模型实现步骤如下：
第一步：将人群分为四类人群，代码如下图所示：
第二步：使用XGBoost以这四类人群进行目标，对模型进行训练，图5.41是模型训练的核心代码。并可查看营销特征值分布如图所示。
5、营销增益模型结果
1、ULL指标计算
2、IEI指标计算
在IEI计算时，需要重新使用PSM构建实验组和对照组，对照组则是根据PSM模型匹配的非会员用户。
6、结果指标的分析和建议
结果的解读可以如下格式所示。
- 基于指标ULL的分析：
（1）专属客服是用户最喜欢的权益。
（2）生日券和0元极速退是用户最不喜欢的权益。
（3）消费券、运费券、生日券这些权益这些消费券喜欢程度一致。
2.基于指标IEI的分析：
- 权益收益最大是0元极速退，用户在使用0元极速退后消费金额整体上提高。
- 消费金和生日券的权益收益为负数，因为权益成本过高，但是收益较低，导致盈亏不平衡。
针对以上结果分析结合福格行为问卷调查的结果得出意见的建议。
（1）生日券通过ULL指标可以看出用户不喜欢当前设定，平台视角来看平台未每个用户生日付出50元成本，属于亏本状态，属于“吃力不讨好”的状态。有61.13%的人认为在他们生日当天提供生服务或者庆生活动对他们购买电商付费会员影响较大或者很大，在动机因素重要性中排在第八字，一共12个因素，有此可见当前的生日券重要性不高，因此建议当前的生日券活动直接下掉。
（2）消费金的满意度与税费券、运费券相差不大，但对于平台是属于亏本状态。有72.49%当我能确定我能省回会费，对购买电商付费会员影响较大或者很大，有此可见消费金很重要，因此考虑调整消费金的结构，比如让用户选择兑换不同金额等方式实现。
（3）从数据上来看0元极速退用户的满意，但是用户在使用后消费金额整体上提高的，存在这种问题可能是因为0元极速退本身使用需要用户申请售后，但是申请售后本身的用户很少，且在动机要素中排第4位，有此可见在之后推广活动中可以重点突出0元极速退这种权益，加强用户好感度
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
