MSDMT使用多源数据和多任务学习预测用户流失和付费

导读

对于用户流失和付费预测任务，MSDMT模型创造性地引入玩家画像、行为序列和社交网络在内的异构多源数据，取得显著的改进。特此将MSDMT论文全文翻译，总共8971字，以供大家参考和学习。

摘要

对游戏玩家进行分析，尤其是潜在的流失和付费预测，对于在线游戏来说至关重要，这有助于改进产品设计和增加收入。然而，目前的解决方案要么将流失预测视为一个独立任务，要么将付费预测视为一个独立任务，而且大多数之前的尝试只依赖于单一的数据源，即表格形式的玩家画像数据。

基于两款现实世界的在线游戏的数据，我们进行了广泛的数据分析。一方面，玩家流失和付费之间存在显著的相关性。另一方面，包括玩家画像、行为序列和社交网络在内的异构多源数据可以相互补充，更好地理解每个玩家。为此，我们提出了一种新颖的多源数据多任务学习方法，名为MSDMT，以捕获多源隐含信息，并以多任务学习的方式同时预测每个玩家的流失和付费。在两个游戏数据集上的全面实验验证了我们提出方法的有效性和合理性，与其它基线方法相比取得了显著的改进。

1. 引言

游戏行业正在蓬勃发展，持续稳定的收入超过1510亿美元，已经成为一个有希望的综合市场，不仅仅是娱乐业务。随着游戏技术的广泛普及，网络游戏获得了非常广泛的受众，并且受到所有年龄段玩家的喜爱。作为在线游戏的关键组成部分，玩家画像已经吸引了学术界和工业界的越来越多的关注。大多数在线游戏都部署了以玩家画像为中心的各种平台和服务。

玩家画像的目的是了解玩家是谁以及他们将做什么，特别是他们是否会退出游戏，即流失，以及他们将付费多少，即付费。玩家流失率在很大程度上决定了在线游戏的生命周期，而潜在的付费能力可以衡量每个游戏的利润。结合流失和付费预测，游戏分析师可以预测每个玩家的生命周期价值（LTV）和整个游戏的总收入。已经开发了一系列方法来预测流失或付费。通常，流失预测被建模为分类任务，而付费预测可以被视为回归问题。统计预测方法，例如逻辑回归、基于树的模型，通常依赖于精细的特征工程，而神经网络模型，例如多层感知器（MLP）、长短期记忆（LSTM），则试图探索大规模数据中隐含的相关性。

尽管取得了令人印象深刻的进展，但目前的解决方案无法充分利用玩家流失和付费之间的相关性以及异构多源数据之间的互补性。

如图1所示，在线游戏中的各种游戏玩法和设置为描述每个玩家提供了多种异构数据源：

• 从玩家行为记录统计生成的玩家画像；

• 每个玩家的每个游戏内行为的行为序列；

• 由玩家之间的关系形成的社交网络。

玩家画像和行为序列分别代表玩家的静态和动态个人喜好。此外，玩家行为通常受到与他们有关系的其他人的影响，因为群体相互互动并共享类似的事件流，特别是在常规的时间、地点或关系。然而，大多数先前的方法主要关注表格形式的玩家画像，很少考虑行为序列和社交网络带来的互补信息。例如，行为序列中的潜在模式和社交网络的群体效应可以从不同的角度对玩家进行画像，并相互补充。

此外，文献中大多数现有的方法尝试将玩家流失或玩家付费预测作为两个独立的任务。直观地说，每个玩家的生命周期价值（LTV）基本上取决于玩家将玩多久以及玩家将付费多少，因此同时考虑流失和付费是非常合理的。实证分析（见第四部分）表明，这两项任务之间存在显著的相关性，例如，一个玩家如果不想玩游戏，就非常不可能进行付费。当前的单任务解决方案无法捕捉玩家流失和付费之间的相关性，以便更好地对玩家进行画像。总之，我们缺乏一种有效的方法，能够充分利用多源异构数据同时处理付费者流失和付费预测任务。

为了解决这些问题，我们提出了一种新颖的多源数据多任务学习方法，名为MSDMT，用于在线游戏中玩家流失和付费预测的玩家画像。具体来说，我们基于玩家画像数据、行为序列数据和社交网络数据构建了三个模块，以从三个不同的角度捕获丰富的隐含信息。我们使用LSTM来模拟日常聚合玩家画像中的动态。考虑到潜在时间信息的影响，我们利用层次化的卷积神经网络-长短期记忆网络（CNN-LSTM）来利用玩家的短期和长期行为偏好。结合玩家画像和行为序列的表示，我们可以构建每个玩家的个人偏好，并获取社交网络图中的节点特征。采用图卷积网络（GCN）挖掘玩家之间的群体偏好，我们还使用多任务学习框架优化了玩家流失和付费预测任务。主要贡献总结如下：

• 通过广泛的实证观察和分析，我们发现了玩家流失和付费之间显著的相关性，以及各种异构数据源之间的差异和互补性。

• 受关键发现的启发，我们提出了一个三模块框架，以多任务学习的方式处理多源数据并做出最终预测。

• 我们在两个现实世界的数据集上进行了全面的实验，以验证我们提出的MSDMT的有效性和合理性。

2. 相关工作

2.1 游戏中的玩家画像分析

对游戏玩家在其生命周期内的画像分析和建模是一个广泛关注的问题。玩家在不同的生命周期阶段有不同的需求。因此，收集和管理玩家生命周期的数据将有助于游戏更好地理解玩家并创造更佳的游戏体验[11]。为此，游戏公司在玩家画像方面投入了大量资源，特别是针对流失和付费。在流失预测方面，参与度[12]、[13]和保留度[14]预测也可以归为游戏行业中的同一问题，其目标是在早期阶段发现有不活跃或流失意图的玩家，挖掘原因并通过干预措施来保留他们。许多研究者提出了各种方法来解决游戏中的流失预测问题。这些工作大多侧重于从游戏日志数据中提取显著特征，并将其作为二元分类问题通过传统分类器和神经网络进行建模，例如监督学习[5]和半监督学习[15]。还有一些研究者尝试通过生存分析来解决这个问题[6]、[12]。此外，玩家的外部游戏信息也被融合以更好地进行流失预测。Kristensen等人[7]使用不同的神经网络架构结合序列和聚合数据进行休闲免费游戏的流失预测。

玩家价值的另一个重要方面是游戏内购买力。有效预测玩家将付费多少的能力可以帮助游戏公司更好地理解玩家需求的变化，从而更具体地提高每个玩家的生命周期价值。关于游戏中付费预测的文献可以在玩家生命周期价值[8]、[9]和玩家购买行为[16]、[17]方面进行学习。付费预测的另一个例子是非付费玩家和高级玩家之间的转换[18]、[19]。目前，基于复杂多源数据融合的技术在游戏领域还比较缺乏，大多数与游戏玩家画像相关的研究仍然基于单一数据源，没有充分利用各种数据之间的丰富信息。此外，大多数研究只集中在流失或付费预测上，忽略了两项任务之间的相关性。

2.2 多源数据融合

近期，许多研究表明，多源数据融合方法在解决各个领域的预测问题方面具有强大的能力，例如交通[20]、[21]，环境[22]–[25]，以及运营研究[26]–[28]等。为了相互补充并提高数据的表现力，多源数据融合从异构数据中提取特征，并在数据层面或模型层面进行融合，而不仅仅是从单一数据源建模。在交通领域，考虑到时空数据的影响，多源数据融合主要基于从基础设施传感器或探测器获得的车辆、道路和行人的原始传感器数据，以及外部数据（例如气象、社交媒体、GPS和事件数据），用于解决拥堵[20]和流量[21]预测。对于环境领域，通过深度分布式融合网络[22]、半监督推理模型[23]或由两个分离的分类器组成的协同训练框架[24]，融合了空间（例如道路网络、兴趣点和污染物分布）和时间数据（例如气象、交通和人类流动性）来预测空气质量。此外，社交媒体数据也被考虑在内[25]。至于运营研究，多源数据融合应用于自行车共享系统[26]、调度需求预测[27]和价格预测[28]，通过从各种数据源提取隐含特征进行融合。多源数据融合在各种场景中已显示出其优越性，然而在玩家画像方面的投入却很少。在本文中，我们也采用多源数据来对每个玩家进行建模，而不是单一数据源。

3. 数据集

在本文中报告的实验工作中，我们使用了来自网易游戏的两种不同类型的现实世界数据集，包括动作游戏（ACT）和集换式卡牌游戏（CCG）。

我们在表I中简要展示了这两个数据集的基本统计信息。

• ACT（动作游戏）：ACT数据集描述了一个名为《Butterfly Sword 5》的移动动作游戏的玩家属性、行为和互动，玩家可以自由体验其具有挑战性的玩家对环境（PvE）和玩家对玩家（PvP）的游戏玩法。我们从几个方面进行玩家画像特征的构建：基本属性、社交关系、行为习惯和消费偏好。我们通过玩家之间的聊天、好友和团队行为建立了玩家关系。

• CCG（集换式卡牌游戏）：CCG数据集收集了一个名为《Love is Justice》的移动集换式卡牌游戏的玩家活动和行为。在游戏中，玩家可以通过动画任务与非玩家控制角色（NPCs）互动，管理爱情关系。由于单人游戏玩法的简单性，我们只考虑基本属性、行为习惯和消费偏好作为玩家画像特征。我们通过游戏中的公会建立了玩家关系。

ACT和CCG数据集都包含三种数据源，即玩家画像、行为序列和社交网络，其中玩家画像每天聚合一次，行为序列按天分割，从每天上午8点到次日早上8点（考虑到大多数正常玩家的日常习惯）。对于每个游戏，我们选择2019年11月29日至12月1日期间登录的玩家作为目标玩家。标签窗口用于确定数据集中的流失标签和付费标签，时间从2019年12月2日至12月8日。我们定义如果玩家7天内不活跃则为流失，玩家的付费标签为玩家7天内付费的总金额。对于玩家画像和行为序列，我们收集了2019年11月25日至12月1日的数据。至于社交网络，我们主要关注2019年6月1日至12月1日最后180天内玩家之间的社交关系。

4. 分析

我们首先指出流失和付费两项任务之间的关系。根据定义，我们使用标签窗口中的总在线时间和总充值金额来分别代表玩家的活动水平（即流失水平）和付费水平。

我们通过热图在图2中可视化了每个活动水平和付费水平的玩家分布。结果表明，流失和付费确实相互影响并相互补充。首先，流失和付费是互斥的，因为这两个集合的交集为空。然后，不付费的玩家在不同活动水平上随机分布，没有特定模式（大量玩家聚集在这里），而付费的玩家更集中在高活动水平上，这表明愿意付费的玩家将来会比不愿意付费的玩家更活跃。因此，我们最终可以将目标玩家分为三组，即流失玩家、留存但未付费玩家和留存且付费玩家。然后我们从以下几个方面进行数据分析：

A. 玩家画像的差异

图3显示了角色等级、总充值、在线时间和在线奖励（即在ACT中获得的游戏币和在CCG中奖励的卡牌数量）的玩家分布直方图，它们分别代表玩家的熟悉度、付费潜力、游戏投入和游戏收益。从结果中，我们可以得出以下结论：

1) 低等级玩家倾向于流失（许多玩家甚至在刚开始游戏时就流失），他们可能只是为了某项活动或新奇而加入游戏。对于留存玩家，高等级玩家更愿意为了更好的游戏体验而付费。

2) 玩家的历史总充值金额代表玩家的付费潜力和对游戏的长期态度。充值金额大的玩家很少离开游戏，而且，他们最有可能继续充值。

3) 玩家在游戏中的投资和收益比例也直接影响玩家的流失和付费。在游戏中花费大量时间的玩家希望得到公平的回报，否则他们会逐渐对游戏失去兴趣并减少付费。高收益驱使玩家留存并鼓励他们付费。

B. 行为偏好的差异

如图4所示，我们通过可视化ACT中的一些典型玩家的行为序列来比较不同群体的行为差异，这是我们无法从玩家画像直观学到的。结果揭示了一些有趣的发现如下：

1) 玩家在流失之前总是进行大量连续操作以消耗他们之前存储的经验值和游戏币，如图4(a)中的紫色对应精炼装备，青色对应锻造武器，红色对应升级技能。此外，我们通过过滤常规行为（即结算奖励、抽奖、预留经验转换、日常或主要任务奖励和礼品兑换），统计了出现频率最高的前五种行为，这也表明玩家倾向于在决定离开游戏之前清空他们的账户。

2) 留存且高付费玩家出现频率最高的前五种行为是抽奖、战斗、公会活动、聊天和购买。一方面，高付费玩家总是保持在游戏中的持续活跃，并且对多人竞技游戏保持热衷，这对应于图4(b)中的橙色条纹部分。为了提高他们的竞争力，他们也花费大量时间锻造竞争性武器（对应青色部分）。另一方面，社交和购买需求驱使玩家继续充值。

3) 留存但未付费或付费少量的玩家的行为序列多样化且无规律，具有随机性。

C. 群体偏好的差异

群体偏好让我们从另一个角度对玩家进行画像。有相似偏好的玩家倾向于建立关系并相互交流，例如，顶级玩家总是喜欢一起承担更困难的任务，玩家更愿意与他们认识的人组队或购买他们认识的人推荐的商品。

我们用ACT中的好友关系示例来说明群体差异，如图6所示，这表明流失玩家会自然地聚集在一起形成许多小的本地群体。玩家的游戏体验受到周围玩家的影响。如果一个玩家周围的大多数朋友都流失了，那么这个玩家也很可能很快流失。而如果一个玩家周围大多数朋友都很活跃，那么这个玩家保持活跃的可能性就很高。同样，不同付费水平的玩家也倾向于聚集并相互影响。

5. 方法

在本节中，我们详细阐述了我们提出的MSDMT的设计，如图5所示。

首先，我们描述了研究问题的概念性定义。然后，我们展示了为处理不同数据源而构建的三个模块的细节。最后，我们进行了一个多任务学习框架来训练和预测流失和付费任务。

A. 问题定义

给定三种不同的数据源：

1）玩家画像 𝑈={𝑢𝑖(𝑑)∣𝑣𝑖∈𝑉,𝑑∈𝐷}；

2）行为序列 𝐵={𝑏𝑣𝑖∣𝑣𝑖∈𝑉}；

3）社交网络 𝐺=(𝑉,𝐸)，其中 𝑣𝑖∈𝑉是节点，(𝑣𝑖,𝑣𝑗)∈𝐸 是边，𝑉是玩家的集合，𝐷表示观察数据的天数。

我们的目标是预测玩家是否会流失（即 𝑦^𝑐）以及玩家将付费多少（即 𝑦^𝑝）。在实践中，我们将流失预测任务定义为二元分类问题，将付费预测任务定义为回归问题。

B. 玩家画像模块

在大多数情况下，玩家画像主要被表示为玩家个体状态信息的静态特征，而不需要外部处理。如图5左上部分所示，考虑到我们游戏中的数据是按天从原始游戏日志聚合的，我们使用玩家画像 𝑢𝑖(𝑑)∈𝑈 作为固定长度序列，即 𝑢𝑖(𝑑)={𝑢𝑣𝑖(1),𝑢𝑣𝑖(2),…,𝑢𝑣𝑖(∣𝐷∣)}对于每个 𝑣𝑖∈𝑉，采用基于LSTM的方法来捕获历史玩家画像序列的隐含时间信息，如下所示：

这里 𝐻是玩家画像模块的嵌入向量。

C. 行为序列模块

行为序列记录了每个玩家的游戏内行为，我们希望从这些行为中建模潜在的个体行为模式，如图5左下部分所示。考虑到游戏内行为的连续性，我们将原始的完整序列 𝑏𝑣𝑖∈𝐵预处理为几个片段，即 𝑏𝑣𝑖={𝑏𝑣𝑖(1),𝑏𝑣𝑖(2),…,𝑏𝑣𝑖(∣𝑆∣)}对于每个 𝑣𝑖∈𝑉，其中 ∣𝑆∣表示固定数量的片段（我们通常按天将片段分割）。具体来说，𝑏𝑣𝑖(𝑠)={(𝑡1,𝑒1),(𝑡2,𝑒2),…}表示一个片段序列中的事件流，其中特定类型的事件 𝑒 在时间 𝑡 发生。我们采用层次化神经网络来嵌入行为序列。首先，我们通过一维卷积神经网络（Conv1D）对每个片段序列进行编码。然后，我们将输出（即，沿着新轴连接数组序列）堆叠成一个新的序列，并将其输入到LSTM中，如下所示：

这里 𝑂 是行为序列模块的嵌入向量，𝑆 表示片段的集合，𝐵^ 表示每个片段隐藏表示的堆叠输出。

D. 社交网络模块

我们考虑玩家画像和行为序列结合起来，更全面地捕获玩家的个体偏好，并且我们还考虑玩家之间的群体偏好。为此，我们利用图卷积网络（GCN）来充分结合三种异构数据源之间的互补信息，如图5中间部分所示。给定玩家画像的嵌入向量 𝐻和行为序列 𝑂，以及图邻接矩阵 𝐴，我们执行基于注意力的方法来获得权重 𝛼𝐻 和 𝛼𝑂 来连接 𝐻 和 𝑂 ，这将作为节点特征与 𝐴 一起输入到GCN中：

这里 𝑉 是最终融合的嵌入向量，𝑋 表示融合的节点特征向量。

E. 多任务学习

利用上述构建的模块，我们基于多任务学习构建了训练和预测模块。我们为两项预测任务考虑了两种不同的损失，即流失任务的交叉熵损失和付费任务的均方误差损失。具体来说，𝑦𝑐,𝑦^𝑐 分别对应流失预测任务的标签和预测，𝑦𝑝,𝑦^𝑝 分别对应付费预测任务的标签和预测，我们计算了一个联合评估所有任务性能的损失函数，可以表示如下：

这里损失 𝐿 是针对所有训练数据的，𝛼,𝛽 是平衡权重的超参数。在实践中，在训练期间保持两个损失在同一数量级是不容易的，因此它们都不会在梯度计算中占主导地位。为此，我们使用对数转换来解决付费数据的偏斜分布。我们将 𝛼 设置为0.7，𝛽 设置为0.3。

6. 实验

在本节中，我们介绍了在两个现实世界数据集上的实验。首先，我们展示了MSDMT与其他基线方法相比的实验结果。此外，我们进行了消融研究以验证MSDMT的有效性。

A. 基线方法

对于不同的数据源，我们选择了几种有竞争力的方法作为基线，以展示单一数据源在流失和付费预测任务中的性能。考虑到玩家画像在我们数据集中是按天聚合的，就像序列数据一样，我们选择了以下基线方法：

• LSTM：LSTM是专为具有空间或时间输入的序列预测问题而设计的经典架构。在这里，我们使用LSTM来模拟玩家画像序列的潜在依赖性。

• CNN：CNN也广泛用于处理序列数据，我们使用一维卷积神经网络(Conv1D)在我们的实验中提取玩家画像序列的特征。

• 对于行为序列，我们比较了LSTM和CNN从分段序列中提取特征并组合它们进行序列预测的性能，如下：

• LSTM：我们利用层次化LSTM分别提取每个分段序列的特征，并组合它们进行序列预测。

• CNN-LSTM：CNN-LSTM的架构涉及使用CNN层(Conv1D用于序列输入)对输入数据进行特征提取，结合LSTM在特征向量上执行序列预测。

此外，我们比较了不同关系下的GCN，没有外部节点特征（即使用身份矩阵作为节点特征）来证明图结构在图神经网络中的有效性。我们为每个游戏选择性能最佳的关系作为我们提出的方法中社交网络模块的输入。

最后，MSDMT-single和MSDMT-multi分别代表没有多任务学习的MSDMT和有多任务学习的MSDMT。我们全面比较了基线模型在每个数据源上的性能，以验证我们提出的方法中多源数据融合和多任务学习的有效性。

B. 实验设置

我们使用三个广泛使用的二元分类评估指标，即准确率(ACC)、曲线下面积(AUC)和F1得分作为流失任务的评估指标。我们使用均方根误差(RMSE)和平均绝对误差(MAE)指标来评估不同方法在付费任务上的性能。对于每个游戏，我们将数据集的80%分割为训练集，剩余的20%分割为测试集。所有实验重复5次，并报告平均结果。对于实验结果，标准误差在0.001（AUC）、0.5（RMSE）以下，并且由于空间有限而未显示。

在MSDMT中，玩家画像模块是一个具有64个隐藏单元的经典LSTM层。行为序列模块的CNN-LSTM结构具有64个滤波器的CNN层和32个隐藏单元的LSTM层，其中卷积核是一维向量，核的长度设置为32。我们在社交网络模块中使用两个具有64个隐藏单元的GCN层，并将dropout率设置为0.5。

C. 性能比较

表II显示了在两个现实世界数据集上的比较结果。

从数据源的角度来看，社交网络的实现性能高于随机基准，但与其他基于单一数据源的方法相比显著较差，这证明了图神经网络中节点特征和图结构的有效性。玩家画像和行为序列从它们自身的丰富信息中受益，在两项任务中都表现更好。与基于单一数据源的方法相比，我们提出了有效的多源数据方法MSDMT，它不仅可以考虑异构数据的差异，如表格、序列和图，而且可以利用多个数据源的互补信息。

另一方面，捕获不同数据源的原始数据的隐含表示对于多源数据融合非常重要。实验结果表明，LSTM和CNN-LSTM在玩家画像和行为序列中表现更好，这验证了我们方法中提出的不同模块的合理性。

此外，得益于多源数据和多任务学习，MSDMT在流失和付费任务上分别比最佳单一数据源单任务学习基于方法提高了1.84%、1.86%（AUC）和4.92%、9.00%（RMSE）。并且多任务学习的MSDMT与没有多任务学习的MSDMT相比，在AUC上提高了0.74%、0.39%，在RMSE上降低了2.12%、1.78%。

D. 消融研究

为了进一步说明不同数据源的融合可以通过多任务学习提高模型性能，我们研究了我们方法中提出的不同模块之间的交互作用的影响。表III显示了MSDMT及其变体的性能。

首先，我们可以看到单一数据源不是很有效，特别是没有外部节点特征的社交网络。在大多数情况下，实验结果展示了不同数据源之间交互的显著有效性。玩家画像 + 行为序列在流失和付费任务上分别比最佳单一数据源基于方法提高了AUC（增加了0.05、0.01）和降低了RMSE（降低了1.05、0.64）。

此外，社交网络中的图结构在流失和付费预测中确实发挥了重要作用。通过融合社交网络，变体模型的性能得到了提高。

最后，当所有数据源都融合时性能最佳。结合的数据源越多，包含的信息就越多样化，模型的性能就越好。与基于单一数据源的方法相比，MSDMT在AUC上提高了1.68%、1.90%，在RMSE上提高了1.90%、8.51%。并且MSDMT也比融合两种数据源的方法在AUC上提高了1.13%、0.81%，在RMSE上提高了2.16%、6.63%。

7. 总结

在本文中，我们提出了一种新颖的方法，名为多源数据多任务学习（MSDMT），用于在线游戏中的玩家画像。我们在两款现实世界的在线游戏数据上进行了广泛的实证观察和分析。结果确立了玩家流失和付费之间的显著相关性，并验证了各种异构数据源之间的差异性和互补性。

受到关键发现的启发，MSDMT基于玩家画像、行为序列和社交网络等异构数据源构建了三个不同的模块，以捕获和融合丰富的隐含信息。此外，MSDMT以多任务学习的方式同时进行流失和付费预测。在两个游戏数据集上的全面实验表明，MSDMT在流失和付费预测方面都具有优越性。对于未来的工作，我们计划进一步调查和改进MSDMT的多源数据融合方法以获得更好的性能。此外，我们还考虑将我们的工作扩展到在线游戏中的更多应用。