AdaSparse: 自适应稀疏网络的多场景CTR预估建模

阿里妈妈技术

于 2023-05-10 19:00:40 发布

阅读量1.1k

点赞数

文章标签：人工智能深度学习

本文链接：https://blog.csdn.net/alimama_Tech/article/details/130613069

版权

AdaSparse是一种解决多场景CTR预估的模型，通过自适应学习稀疏网络结构来提升跨场景泛化能力和控制计算复杂度。该方法利用辅助网络为每个场景生成专属子网络，通过网络裁剪技术裁剪不重要的神经元，同时提供灵活的稀疏正则方法。在线实验显示AdaSparse在CTR和CPC上有显著提升，且对稀疏场景有较好的泛化能力。

摘要由CSDN通过智能技术生成

▐ 摘要

CTR(Click-through rate)预估一直是推荐/广告领域重要技术之一。近年来，通过统一模型来服务多个场景的预估建模已被证明是一种有效的手段。当前多场景预估技术面临的挑战主要来自两方面：1）跨场景泛化能力：尤其对稀疏场景；2）计算复杂度：在线计算和存储资源有限情况下如何实现多场景模型构建。针对这两个挑战，本文提出AdaSparse，一种通过自适应学习稀疏网络的方法来实现多场景CTR预估建模。该方法为每个场景学习一个子网络结构，在计算成本增加有限的条件下，自适应平衡场景间的共性和特性，提升了模型跨场景的泛化能力。我们设计了一个辅助网络来衡量主网络每一层神经元对每个场景的重要度，并通过网络裁剪技术对不重要/冗余的神经元进行裁剪，最终为每个场景生成一个专属的子网络进行预估。此外，我们提供了一种灵活的稀疏正则方法来更好的控制网络稀疏程度，使模型在应用上更具有灵活性。AdaSparse已在阿里妈妈外投广告系统上线，支撑了多个投放业务的CTR预估，整体取得了CTR+4.63%，CPC-3.82%的效果（CPC：点击成本，越低越好) 。该工作核心部分已收录于 CIKM2022，本文将对该方法的背景及实现进行详细介绍，欢迎阅读交流。

论文：AdaSparse: Learning Adaptively Sparse Structures for Multi-Domain Click-Through Rate Prediction

下载：https://dl.acm.org/doi/abs/10.1145/3511808.3557541

1. 背景

传统的CTR预估模型往往是单场景的，即假设训练样本服从同一分布。但在工业应用中，这是个很强的假设。一方面，现实中往往面临多个业务需要同时预估的工作。例如在阿里妈妈外投平台，存在多个业务方如天猫/饿了么/蚂蚁等同时进行广告投放，各业务的投放数据分布往往不同。如图1(a)所示，不同的业务方（如B5/B2）其用户和CTR效果差异较大，若合在一起训练模型可能被B1和B5两个业务主导，从而导致其他业务效果较差。另一方面，除了不同的业务可以场景划分依据，相同业务下某些特征也可以作为场景划分依据，例如“不同的广告位，用户行为差异较大”、“相同业务不同用户画像，用户行为差异也可能较大”。如图1(b)所示，不同广告位下用户和CTR分布也有类似的差异现象。为此，我们这里定义一种“广义”的多场景：目标行为差异较大的特征，都可以作为一种多场景划分的依据。这也促使我们不断探索多场景预估技术，以通过捕捉用户在不同场景下的不同偏好来提升模型整体的效果。

图1：(a)基于业务的场景划分；(b) 更广义的场景划分；(c)多场景预估技术范式

图1（c）显示了多场景预估建模的抽象范式，主要面临两个挑战：1）跨场景泛化能力，为了获得更好的效果，模型需要具备建模场景共性知识和捕捉场景个性知识的能力，同时还需要在稀疏场景有一定的泛化能力。2）计算成本可控，实现多场景预估技术往往需要更多参数，但在工业级应用中，计算资源有限，模型需要兼顾效率和效果。因此，我们需要寻找一种多场景预估技术：统一的模型，具备优异的场景迁移能力，且在线性能可控。

近年来涌现了不少多场景预估工作，通过对特征或网络做一些先验设计让场景相关特征在预估中发挥更大的作用。如图2所示，我们挑选了其中几个具代表性的工作，基于场景相关特征作用点的不同，归纳出了一条优化路线：场景相关特征作用从底层embedding到上层bias，再到模型核心参数，再到网络结构。其复杂度越来越高，作用力也越来越强。具体地，如图2所示，SAML[12]最开始对底层特征embedding做两套，一套用于场景共享，一套是场景特有；SAR-NET[13]则对模型中间层的表征做场景共性和特性的平衡操作。这类方法对场景信息的使用是偏底层的，但随着网络层数增加，加之与其他特征的相互作用，最终场景特征对预估产生多少影响是无法确定的。

因此，为了让场景相关特征发挥更大作用，出现了两个方向的思路：a) 信息离目标越近可能作用越强：将场景相关特征也作用在网络上层，诞生如BiasNet，PPNET的工作；b) 直接作用于网络中的核心参数上，如参数矩阵、Normlization的参数等。在实际应用中，有时会将两个方向的方法做结合，比如STAR[5]，既有上层Bias也有核心参数上做场景共性和特性的平衡。这些方法一定程度上解决了场景共性和特性的平衡，但针对稀疏场景的解决可能不足，尤其通过特征划分的广义场景很容易达到成千上万量级，稀疏场景会较多。于是后面出现了一些基于核心参数场景自适应生成的方法（如M2M[11]、APG[8]），我们的方法主要聚焦这一类，并作用于网络结构。图2（右）展示了多场景自适应参数生成方法的常见建模范式，这类方法通过设计辅助网络以场景相关特征作为输入，输出场景相关的参数作用于主模型。这类方法容易实现跨场景知识的迁移，同时因对主网络每一层都有作用，场景相关特征对预估的影响也较强，随之而来的挑战是参数爆炸问题，这给模型收敛和存储都带来了困