推荐系统论文精读——MetaHeac

Abstract

原文	译文
	在推荐系统和广告平台中，营销人员希望通过展示、视频或社交等媒体渠道向潜在的受众提供产品、内容或广告。给定一组种子用户（seed），人群拓展技术（look-alike 模型）是一种很可靠的解决方案，可以识别更多潜在受众，这些受众与种子用户相似，并可能完成活动的业务目标。然而，look-alike 建模面临两个挑战：（1）在实践中，一家公司每天可以运行数百个营销活动来推广完全不同类别的内容，例如体育、政治、民生。因此，很难找到一种通用模型来适用于所有活动。（2）有些广告的种子用户是极其有限的。因此，基于这种种子用户的定制方法可能会过度拟合。
	在本文中，为了应对这些挑战，我们提出了一个名为Meta Hybrid Experts and Critics（Meta-Heac）的新颖的两阶段框架，该框架已部署在微信lookalike系统中。在离线阶段，我们利用所有现有活动任务的数据，通过元学习的方式训练一个可以捕获各种任务之间关系的通用模型。在在线阶段，对于新活动，使用基于通用模型的给定种子集学习定制化模型。根据离线和在线实验，所提出的MetaHeac在推荐系统的内容营销活动和广告平台的广告活动中都显示出卓越的效果。此外，Meta-Heac已成功部署在微信中，用于内容和广告的推广，从而大大提高了营销质量。该代码已在 https://github.com/easezyc/MetaHeac 提供。

1 INTRODUCTION

原文	译文
	随着移动互联网的蓬勃发展，世界上的移动应用程序越来越多，每天都有大量的用户活跃在这些应用程序上。在这样一个拥有数十亿用户的新移动市场中，营销人员通过推荐系统或广告平台有效地向潜在受众提供内容 [12]、广告 [2] 或产品 [13， 35] 变得至关重要。为了实现各种促销活动的目标，互联网公司每天进行数百次营销活动。运行营销活动的关键之一是人群扩展技术（lookalike建模），该技术已部署在许多在线系统中，例如谷歌[8]，LinkedIn[11]，Pinterest[2]，蚂蚁金服[35]，微信[12]。
	对于某个广告，给定一组受众（种子用户），人群扩展技术旨在识别更多与种子用户相似的潜在受众群体。高质量的扩展受众将通过增加转化人口同时降低营销活动的运营成本使公司受益[35]。一个好的lookalike技术可以带来巨大的经济效益，但它面临着两个重大挑战。（1）各种活动的任务可以涵盖不同的内容，例如体育，政治，社会，并且推广的内容可以因任务而异。因此，很难为所有竞选任务利用通用方法。（2）某个活动给出的种子集只能覆盖有限的用户。基于此种子集，广告系列的定制化模型可能会过度拟合。特别是，一些营销活动只有几百个种子用户。
	通过为所有活动设计通用规则，以前的基于规则的方法 [18、24] 将相似用户与特定的人口统计标签（年龄、性别、地理）或营销人员针对的兴趣相匹配，其性能不令人满意。对所有活动客观地使用共同的预定义相似度函数，例如 Cosine 或 Jaccard，传统的基于相似度的方法 [3、11、16、17] 通常通过直接比较种子用户和候选池用户的相似度来扩展人群。然而，这些方法的性能在很大程度上取决于用户的特征和相似函数，并且很难达到令人满意的性能。最近，为每个活动训练定制的预测模型，基于模型的相似方法 [7, 12, 23] 取得了显着的效果。然而，这些基于模型的单步方法 [7, 12, 23] 直接为每个活动从头开始训练定制模型，严重存在过度拟合问题。
	为了应对这些挑战，一些基于模型的方法 [2, 13, 35] 将人群扩展任务分解为两个阶段：离线阶段和在线阶段。在离线阶段，他们训练一个共同的嵌入层。在在线阶段，基于通用嵌入，为每个活动训练定制模型。然而，由于三个原因，这些方法无法解决这两个挑战。 (1) lookalike建模的目标是在新的活动任务中表现良好。然而，普通嵌入只是适合现有的活动，并没有考虑泛化能力[28]。 (2) 他们直接在大型用户活动图上训练公共嵌入层，而忽略了各种任务之间的关系。实际上，任务差异的内在冲突实际上会损害某些任务的预测，例如，某个任务的种子用户可能是另一个任务的负样本。 (3) 他们只预训练了没有深度网络的嵌入层。因此，对于某个活动，定制网络可能仍然对种子用户过度拟合。
	为了解决这些问题，我们提出了一个名为Meta Hybrid Experts and Critics（MetaHeac）的新型两阶段人群扩展框架。MetaHeac的框架遵循线上线下混合的方式。线下阶段的核心是使用各种现有的营销活动任务训练通用模型。在在线阶段，当新的营销活动到来时，通过给定种子用户对预训练通用模型进行微调，学习用于人群扩展的定制化模型。MetaHeac主要侧重于训练更好的通用模型，并采用两个高级的关键思想：1）通用模型有望学习扩展受众的能力，2）通用模型应该从各种营销活动中学习可转移的知识
	回想一下，lookalike建模包括两个阶段，（1）了解种子用户的特征，（2）找到与种子用户相似的潜在受众。因此，为了学习如何扩大受众，我们设计了一个针对数百个营销活动任务的两阶段仿真模型。仿真模型包括“理解”阶段和“发现”阶段。在“理解”阶段，模型需要了解种子用户的特征。在“发现”阶段，当我们找到一些潜在的受众时，我们会用扩展的听众来更新模型。凭借元学习的优势[6]，在这种两阶段模拟的学习任务上训练的模型可以学习如何扩展受众。【问题2 这块是啥没看懂】
	要学习可迁移的知识，对任务之间的关系进行建模非常重要。因此，MetaHeac采用了由多个专家和评论家组成的混合结构。MetaHeac利用多个专家来捕获多个用户表示。由于不同的专家专注于不同的任务，我们提出了一个任务驱动的门，将用户的多个表示组合成一个表示。然后，通过用户表示，MetaHeac通过多个评论家，就用户是否可以对推广的内容感兴趣发表意见。有了每个评论家给出的分数，利用类似的任务驱动门来计算用户的最终分数。
	MetaHeac已成功部署在微信lookalike系统中，可以为微信做内容推广和广告推广，大大提升营销质量。根据离线和在线实验，所提出的模型对推荐系统中的营销活动和广告平台中的广告活动都显示出卓越的效果。我们工作的主要贡献总结为四个方面：• 我们针对受众扩展问题提出了一个名为MetaHeac 的新型两阶段框架，显着提高了性能。• 我们从元学习的角度正式定义了受众扩展问题，并使用元学习来学习如何扩展受众。• 为了学习可迁移的知识并对任务关系建模，我们提出了一个由多个专家和评论家组成的混合结构。• 我们进行离线和在线实验以证明MetaHeac 的有效性和稳健性。

2 system overview

原文	译文
	在本节中，我们将介绍微信lookalike系统，其中包含提到的MetaHeac框架。如图1所示，系统采用线上线下混合架构。活动系统是一个活动管理系统，包含所有活动的种子和在线反馈。离线阶段的核心是维护一个预先训练好的通用模型，可以快速适应新的活动。因此，微信look-alike系统利用来自活动系统的所有现有活动的数据来训练通用模型。请注意，数据包括所有广告系列的初始种子和在线用户反馈。为了训练通用模型，利用了所提出的MetaHeac框架。为了学习如何扩大受众，Meta-Heac从元学习的角度训练了通用模型。为了捕捉任务关系并学习可转移的知识，Meta-Heac聘请了混合专家和评论家。MetaHeac的细节将在下一节中介绍。
	在线阶段旨在为特定活动寻找潜在受众。对于一个新的活动，营销人员将提供一个特定的种子集，而活动系统将抽取一个负面集进行训练。利用这些数据，可以通过微调预训练的通用模型来学习定制的活动模型。然后，使用自定义模型，人群检索模块将对候选池中的所有用户进行评分。目标活动，然后选择得分最高的前 K 个用户作为扩展受众。然后，将目标活动的内容推广给扩大的受众。 Log Parser 将记录用户反馈并将其传递给活动系统。用户反馈将用于增量训练通用模型和定制模型。Remark：微信lookalike系统每天运行 400-500 个营销活动。预训练的通用模型每天用当天的新数据训练一次。定制化模型的训练大约需要 5 分钟。 10 亿用户的受众检索大约需要 10 分钟。自定义模型将每小时进行一次实时反馈增量训练。

3 THE PROPOSED MODEL

3.1 Definition

原文	译文
	V : 营销活动包含的内容或产品 c = { x 1 c , . . . , x N c } : 营销活动 c 的特征， x 为特征， N 为特征数 S [ c ] : 种子用户 U ：候选池用户 D c ：包含正负样本集的数据集 U c ：拓展的用户 u = { x 1 c , . . . , x M c } : 用户 u 的特征， x 为特征， M 为特征数 V: 营销活动包含的内容或产品\\ c = \{x_1^c,...,x_N^c\}: 营销活动c的特征，x为特征，N为特征数 \\ S_[c]: 种子用户\\U：候选池用户\\D_c：包含正负样本集的数据集\\U_c：拓展的用户\\u = \{x_1^c,...,x_M^c\}: 用户u的特征，x为特征，M为特征数 V:营销活动包含的内容或产品c={x1c​,...,xNc​}:营销活动c的特征，x为特征，N为特征数S[​c]:种子用户U：候选池用户Dc​：包含正负样本集的数据集Uc​：拓展的用户u={x1c​,...,xMc​}:用户u的特征，x为特征，M为特征数
	把所有特征用嵌入式表示为e， x ∈ R k u = { e 1 c , . . . , e M c } : 用户 u 的特征 M 为特征数 c = { e 1 c , . . . , e N c } : 营销活动 c 的特征 N 为特征数 x \in R^k\\u = \{e_1^c,...,e_M^c\}: 用户u的特征 M为特征数\\c = \{e_1^c,...,e_N^c\}: 营销活动c的特征 N为特征数 x∈Rku={e1c​,...,eMc​}:用户u的特征M为特征数c={e1c​,...,eNc​}:营销活动c的特征N为特征数

3.2 Learn to Expand Audience

原文	译文
	一个好的lookalike模型应该能够快速适应新的营销活动任务并缓解过度拟合问题。最近，元学习是实现这些目标的一个有希望的解决方案：1）元学习可以从许多类似的任务中学习通用知识[27]，2）元学习可以针对有限样本做出快速调整 [6]。因此，我们从元学习的角度提出了一种新颖的lookalike方法。关键思想是学习如何扩大受众。
	二分类模型可以表示为： 输入为用户和活动特征，第三个表示为参数。人群拓展可以分为2个部分，1） 理解：通过训练模型获取种子用户的特征，2） 寻找，通过定制模型来查询拓展人群。为了学习知道如何扩展受众的通用预训练模型，我们建议进行培训过程来模拟这两个阶段。
	通用模型表示为我们把 一个任务的训练集合 $D_{[}c]分为D_{[}c{]}^a和D_{[}c{]}^b$ 两个部分，分别表示理解和拓展两个步骤，可以对应元学习中的support set 和 query set
	理解部分：元学习器将借鉴数据集$D_{[}c{]}^a$ 的损失来 调整通用 θ 来定制化任务c的参数， 首先，我们使用通用模型进行预测，得到预测的模型p， 然后，此阶段的损失可以定义为，为了最小化这个损失，得到了定制化的模型。

（ 类似于元学习的训练过程，通过一堆任务来学习任务的初始化参数（general theta

3.3 Hybrid Experts

原文	译文
	为了选择潜在的受众，有必要生成高质量的用户表示，这些表示可以代表用户对不同活动的意图。直观地说，我们可以聘请专家（前馈网络）来提取用户对所有活动的表示。然而，它面临着单一专家的严重问题。通常，专家只专注于一个领域。单个专家提取的用户表示只能包含用户的部分信息，不能完全覆盖用户的特征。结果，虽然专家没有观察到用户的其他特征，但这种用户表示仅适用于一部分活动。为应对挑战，聘请多位专家是很自然的做法。形式上，我们对所有专家提取的用户表示进行平均，如下所示
	其中 hi （·） 表示第 i 个专家，n 表示专家的数量。然而，平均操作可以删除特定于任务的信息，因此用户表示r可能不利于特定的营销活动任务。请注意，不同的前任专注于不同的领域，他们擅长处理不同的任务。因此，对于某个营销活动，我们希望选择专门从事特定任务的专家。
	沿着这条线，我们提出了一个任务驱动的门，将活动特征作为输入来指导选择过程。另外需要注意的是，一个专家只擅长一部分任务，他处理不同用户的能力也是不同的。因此，任务驱动门不仅应将活动特征作为输入，还应将用户特征作为输入。因此，任务驱动门定义为：𝒘𝑒𝑥𝑝𝑒𝑟𝑡 = softmax(𝑔(𝒄, G(𝒖))), (5)其中𝑔(·) 是前馈网络，𝒄 和𝒖 是活动任务𝑐 和用户𝑢 的特征嵌入。此外，softmax 表示对 𝑔(·) 的输出进行归一化的 softmax 函数，𝒘𝑒𝑥𝑝𝑒𝑟𝑡 ∈R𝑛 是权重向量，可以表示不同专家的重要性。 G(·)表示聚合函数。在本文中，我们使用均值池作为 G(·)。 𝑔(·)的输入是活动特征的嵌入和用户特征的平均嵌入。请注意，对用户特征的平均池化操作非常重要。主要原因是我们主要专注于捕获跨各种任务的可迁移知识，而不是用户。因此，这种平均池化操作不仅可以使任务信息支配门，还可以利用用户信息。使用任务驱动门，我们可以将用户的表示形式重新表述为：
	asd

3.4 Hybrid Critics

原文	译文
	asd

3.5 Overall Framework

原文	译文
	整个 MetaHeac 框架由元学习框架、混合专家和混合评论家组成，如图 2 所示。使用元学习框架训练通用look-alike 模型$f(\cdot )$，该模型可以学习如何扩展受众。在本文中，模型$f(\cdot )$包含混合专家和混合评论家，表述为：有了这样的混合专家和评论家，look-alike模型可以捕捉各种任务之间的关系并学习可迁移的知识。MetaHeac框架的部署包括两个阶段：离线部分和在线部分
	离线阶段。在这个阶段，我们通过对所有现有营销活动进行两阶段模拟的元学习框架来学习通用模型。所有现有的活动任务都包含一组种子用户和在线反馈，我们将所有这些组合成一个单一的训练集来训练通用模型，如第 3.2 节所示。
	在线部分。对于新的营销活动 c，给定新营销活动的数据集$D_{[}c]$ ，我们用类似于公式2的交叉熵损失微调通用模型$f(\cdot ；\theta )$， 得到一个定制化的模型$f_{[}c]=(\cdot ；{\theta }_{[}c])$然后，可以直接利用定制化模型，从整个候选库$U$中找到可能对特定活动c所推广的内容感兴趣的潜在受众$U_{[}c]$,最后，lookalike系统可以将内容提升给扩展用户。

问题1 ：
离线模型是真的元学习，输入训练集合输出一个模型还是 只是把全部任务放到一起训练
元学习不是得到一个输出模型的函数吗？ 是怎么得到通用模型的呢？
答： 采用类似元学习的方式，学习到一个使得全部任务测试结果最优的初始化参数