【万字详解+PPT下载】腾讯广告实时策略数据框架建设

2021年5月20日-22日，由IT168旗下ITPUB企业社区平台主办的第十三届中国系统架构师大会（SACC2021）在云端进行了网络直播，腾讯广告实时策略数据框架技术负责人林立伟受邀出席，并在大会上就这一议题进行分享。

腾讯广告实时策略数据框架，在腾讯广告系统内是负责计算为召回、粗排、精排的整个广告决出过程中的各种影响策略因子，构成整个腾讯广告策略中台的重要组成部分。本文为林立伟的直播实录整理，让我们一起了解实时策略数据框架是如何解决易用性、高性能、高可用三个方面的难题吧！

关注“腾讯广告算法大赛”微信公众号，后台回复“SACC2021”，可下载分享PPT。

腾讯广告中的策略框架

先简单介绍一下腾讯广告，从英文Tencent Marketing Solution可以看出，腾讯广告是一个面向企业的商业服务平台，志在帮助企业做好市场营销。具体到广告流量，腾讯广告基于整个腾讯社交网络体系，不仅覆盖了微信生态中庞大的月度活跃用户，QQ广告也能够触达海量的月度活跃用户。不但如此，腾讯的流量还包括了腾讯视频、腾讯新闻、腾讯看点、腾讯音乐，以及腾讯的广告联盟“优量汇”等。

此次要介绍的整个策略框架在腾讯广告系统中的位置，我们从PPT内可以看到，位于上图高亮红框的位置。在上图所描绘的整个广告系统当中，右上角是广告投放部分，左上角为广告播放部分，而左下角则是整个后台计算部分，其中包括回流日志。在日志回来后，我们会进行策略计算，包括模型训练、报表等。策略就是基于回流日志，进行一些策略的结算，再得到对线上产生的一些实时影响，根据这个策略结果再通过数据通道送回到线上去，进而影响广告的播放。

对腾讯广告系统图再拆细了看，我们可以知道，需要面对的日志数量相当庞大，包括请求、排序、曝光、CPM、点击、效果、日志等，有着百T规模的数据量，具体到数据条数，也是千亿级、百亿级的数量。我们所面临的广告的量级、广告主的量级、商品的量级，都是非常庞大的。腾讯广告支撑的许多广告策略，最后都将会将会反馈到线上。

广告系统是按照ecpm进行广告排序，在最后胜出的因素里，除了模型因子的影响外，还有很多策略因子作用在ecpm上。以调价因子为例，调价因子作为帮广告主成本达成的一个因子，具体到达成具备什么样的含义？举例来说：广告主出价500块买一个付费，当他付了三个付费的钱，也就是1500块时，他得到的转化应该是三个，如果转化的数字达不到三个，我们就应该为他进行调节，使得他能够拿到三个转化，调价因子、策略因子便是服务于广告达成这样的目标

策略框架是服务于调价因子的策略部分，对于框架而言，输入就是曝光、点击、效果，这当中会夹杂很多回流预估的数据，包括广告预估、商品预估，及广告主预估的数据等。

此处简单说明一下，回流预估是因为广告从播放到真正产生用户的转化，例如付费或激活等，中间有一段回流的时间，这段时间内我们需要对转化是否能够回来去做相应的预估，这就是回流预估。

基于前面所看到的输入数据，为了产生策略因子，还需要跑很多不同的策略，以适用于不同的场景，对此我们会有多个版本的策略和实验，最后再把策略跑出来的相关结果因子，重新推送到线上产生作用。在整个过程当中，提出整体计算实时性的需求。

调价因子其实只是一类具体的策略，线上不同类的策略有很多，都是来自于各个团队所贡献的策略。而如果每个团队都从头到尾做一遍，包括数据的输入、字段的聚合、参数读取、策略计算，再到结果输出等，整体流程及开发效率，包括系统的运行效率，系统的稳定性等都不能够有保障。具体而言，整体开发效率不高的原因在于大家做了很多重复性的开发工作，发布周期会因此拉长，可能需要几天才能发布一个版本，并且相互之间的效果还可能存在冲突。

其次，在各自开发的时候，策略团队中并非每一个团队都具有非常好的系统优化经验。另一方面，业务上线还有时间约束，时间限制下可能无法做到精细的系统优化，从而导致整个策略的计算耗费更多计算资源，实时的反馈也因此无法达成。当你得到的计算结果，需要经过十分钟、二十分钟才能反馈到线上，属于比较延迟的状态。

最后一点，各自完成策略工作难以保障整个业务的稳定性，因为团队不太会有整体系统化的可用性建设。

因此建设一个统一的整体策略计算框架是非常有必要的。

腾讯广告从几年前开始做的就是树立统一的策略计算框架，便于将策略开发和计算归拢起来。这可以很好的解决刚才提及的问题，包括易用性的解决问题，使得大家对策略开发和迭代都会有非常高的效率。我们现在基本上做到了每天进行一个策略计算的迭代改动和上线，并且每天都会发布。此处简单解释一下，这跟模型侧的例行训练不是一个含义，我们的迭代和更新是指策略的计算逻辑每天都会做代码