《计算广告》第一部分计算广告关键技术——笔记

前言

互联网很多服务是免费的，为了获得流量和数据，广告业务实现后向变现。这同样催生了新的组织形式，不再是各个事业部自负盈亏，而是设置专门的商业产品部门创造营收，面向用户的免费产品部门只负责优化产品体验。互联网广告的灵魂就在于数据与计算，机器和算法取代了人员与服务，成为其最鲜明的特色。

作者的核心目的，是让读者在清晰地了解互联网广告全貌的基础上，在遇到与后向变现相关的产品问题时，能够以合理的思维逻辑和背景知识来应对。通过了解广告变现的内在逻辑，进而对互联网时代的用户产品如何将体验做到极致、将变现做到最高效有一个宏观的认识。

书以广告产品为核心，一条线是商业逻辑驱动的在线广告产品和技术的升级，另一条线是如何在广告产品进化过程中一步步地更有效地利用数据。

本部分对很多相关概念和术语的集中介绍。

第1章 在线广告综述

在线广告形成了为以人群为投放目标、以产品为导向的技术型投放模式，不仅为广告主带来了以准确接触目标受众为方法论的全新的营销渠道，也为互联网免费产品和媒体提供商们找到了规模化变现的手段。另外从数据的角度来看，在线广告开启了大规模、自动化地利用数据改善产品和提高收入的先河。

首先，广告不完全等同于搜索或推荐，它首先是一项商业活动，然后才是一项在互联网环境下需要技术优化的商业活动；其次，在这一商业活动中，广告主、媒体和用户的利益都需要被认真考虑和满足，这样才能达到整个市场的平衡和不断发展。

大数据与广告的关系

A类问题在数据采样率小时很难解决问题，比如个性化推荐（ personalized recommendation ） 和计算广告 （computational advertising）需要用到每一个人的行为进行定制化推送，而无法只采样其中的一部分人来处理，因此计算广告是非常典型的大数据应用。

广告的定义与目的

广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。

——《当代广告学》

其中有两个主动参与方——出资人（sponsor）和媒体（medium），或者说需求方（demand）和供给方（supply）。这里的需求方可以是广告主（advertiser）、代表广告主利益的代理商（agency）或其他技术形态的采买方；这里的供给方可以是媒体，也可以是其他技术形态的变现平台。一个被动参与方——受众（audience）。

广告的根本目的是广告主通过媒体达到低成本的用户接触。

——《当代广告学》

传统媒体时代，由于供给方与需求方要转化的行为之间有差距，广告的目的是希望借助媒体的力量来快速接触大量用户，从而宣传品牌形象、提升中长期购买率与利润空间，即品牌广告。

数字媒体出现后，由于其投送个性化广告成本低，并且一些在线服务，如搜索、电子商务，由于可以更清楚地了解用户的意图，也就使广告效果的优化更加容易，促进了效果广告的发展，即以追求迅速转化为目的。

互联网广告兼有品牌和效果两方面的功能。不过到目前为止，互联网广告行业的高速发展主要是由于效果广告市场带来的巨大红利。但是随着数字媒体的普及，网络渠道也必将在品牌广告方面有更多的用武之地。

按某种市场意图接触相应的人群，进而影响其中的潜在用户，使他们选择广告主产品的几率增加，或者对产品性价比的苛求程度降低，这才是广告的根本目的。至于短期内的转化效果，由于市场意图或媒体性质的不同，并不是直接可比，因此不能仅仅以转化效果为目的来思考问题。

低成本是相对的，要确定是否真的成本较低，需要用到投入产出比 （Return On Investment，ROI），即某次广告活动的总产出与总投入的比例，往往是不同渠道间的比较。

一切付费的信息、产品或服务的传播渠道，都是广告。

在线广告简史

广告有几个要素，创意形式，投放方式，售卖模式，计费方式。

在线媒体（网站）刚产生时，创意形式为展示广告（display advertising），投放方式就是在网页的广告位展示，售卖模式为合约广告（agreement-based advertising），即采用合同约定的方式确定某一广告位在某一时间段为某特定广告主所独占，并且根据双方的要求，确定广告创意和投放策略。计费方式应该是一次性支付。

然后互联网为了提高收入，决定对不同的受众呈现不同的广告创意，这是在线广告的效果和市场规模不断发展的核心驱动力，从而提高广告位报价。投放方式是定向广告（targeted advertising）。此时对计算技术产生需求：受众定向和广告投放（实时响应前端请求，并返回合适的广告创意）。售卖模式还是合约，保证投放量，不足则赔偿，即担保式投送（Guaranteed Delivery，GD）的交易方式。遵循按千次展示付费（Cost per Mille，CPM）的计费方式。合约广告系统中存在一个在线分配（online allocation）问题，有两个难点：一是如何有效地将流量分配到各个合约互相交叉的人群覆盖上；二是要在在线的环境下实时地完成每一次展示决策。可以利用带约束优化（constrained optimization）的数学框架来探索这一问题。

展示广告领域定向投放的最初动机是供给方为了拆分流量以获得更高的营收。满足需求方的利益可以扩大市场规模。受众定向产生以后，市场向着精细化运作的方向快速发展。这一发展主要有两方面的趋势：一是定向标签变得越来越精准；二是广告主的数量不断膨胀。此时合约模式有问题，首先，很难对这些细粒度标签组合的流量做准确预估；其次，当一次展示同时满足多个合约的时候，仅仅按照量约束下的在线分配策略进行决策有可能浪费掉了很多本来可以卖得更贵的流量。催生了新的售卖模式——竞价广告 （auction-based advertising），不保证量，只保证质（单位流量成本），每次展示按收益最高决策。

竞价广告最初产生于搜索广告（search ad）中。搜索引擎最初不被看做媒体，搜索流量的变现采用了与服务自然结合的付费搜索（paid search 或sponsored search）模式，是一种关于用户即时兴趣的定向广告，搜索关键词就是标签，由于其非常精准，自然采用竞价方式。推广到互联网媒体后，搜索关键词变为页面关键词，产生了上下文广告（contextual advertising）。竞价使得广告主处于多方博弈的场景，通过广义第二高价（Generalized Second Price，GSP）定价。

基于竞价机制和精准人群定向这两个核心功能，在线广告分化出了广告网络（ad Network，ADN）这种新的市场形态。它批量地运营媒体的广告位资源，按照人群或上下 文标签售卖给需求方，并用竞价的方式决定流量分配。ADN的结算以按点击付费（Cost per Click，CPC）的方式为主，托管中小互联网媒体的广告库存（inventory），帮助其流量变现。因此不再是广告主或代理与媒体直接接触了，而是通过ADN作为桥梁。

ADN只通过出价接口提供价格约定，需求方的代理需要保证量。此时流量采买发生变化：一是更多地面向受众而非媒体或广告位进行采买；二是需求方的代理需要采用技术的手段保证广告主量的要求，并在此基础上帮助广告主优化效果。由于只能在ADN 定义好的定向标签组合上预先指定出价，而不能控制每一次展示的出价，因此，市场看起来像一个黑盒子，需求方只能靠选择合适的标签组合以及阶段性调整出价来间接控制效果。这种面向多个ADN或媒体，按人群一站式采买广告并优化ROI的需求方产品，叫交易终端（Trading Desk，TD）。

在ADN中，核心的竞价逻辑是封闭的，需求方的定制化需求催生了一种开放的竞价逻辑，让需求方按自己的人群定义来挑选流量，这就是实时竞价 （Real Time Bidding，RTB），即每次展示需求方自己判断人群和上下文进行出价。聚合各媒体的剩余流量并采用RTB方式为他们变现的产品形态——广告交易平台（ad Exchange，ADX）。出价的产品是需求方平台（Demand Side Platform，DSP）。由于RTB主要采用按展示次数计费的方式，DSP 需要尽可能准确地估计每一次展示带来的期望价值。这样的广告采买方式也叫作程序化交易（programmatic trade）。

总结广告产品的发展，首先是合约阶段，广告主通过代理公司从媒体方采买广告，而媒体方的广告投放机则负责完成和优化各个广告主的合约；然后，市场进化出了竞价售卖方式，从而在靠近供给方产生了ADN 这样的产品形态，而需求方的代理公司为了适应这一市场变化，孵化出了对应的媒介采买平台（media buying platform）；最后，当市场产生了RTB方式交易时，供给方进化出了 ADX，而需求方则需要用DSP与其对接来出价和投送广告。

在线广告发展的一条主线是定向技术和交易形式的进化，核心驱动力是让越来越多的数据源为广告决策提供支持，从而提升广告的效果。另一条是产品展现逻辑的发展，从独立于内容的广告位，只为了优化收入，到将内容与广告以某种方式统一决策或排序的广告产品——原生广告（Native AD）。

第2章 计算广告基础

广告有效性原理

图中这一有效性模型把广告的信息接收过程分为选择（selection）、解释 （interpretation）与态度（attitude）三个大阶段，三段式信息传播模型解剖了广告由物理产生到最终转化行为产生的全过程。或者进一步分解为曝光（exposure）、 关注（attention）、理解（comprehension）、接受（acceptence）、保持（retention）与 决策（decision） 6 个子阶段。

1. 曝光：广告的物理展示。此阶段的有效程度往往与广告位的物理属性有关，并没有太多可以通过技术优化的空间，并且曝光的有效性对最终结果的影响往往远远高于其他技术性因素。如何从算法上消除由此带来的点击率预估偏差，是一个非常重要的实际问题。
2. 关注：受众从物理上接触到广告到意识上注意到它的过程。曝光并不一定意味着关注。如何使得关注阶段的效率提高呢？首先，尽量不要打断用户的任务。这一点是上下文相关的广告投送的原理基础，也是当今讨论原生广告产品的出发点之一。其次，明确传达向用户推送此广告的原因，这一点是受众定向广告创意优化的重要方向。另外，内容符合用户的兴趣或需求，这是行为定向的原理基础。
3. 理解：理解广告传达的信息。首先，广告内容要在用户能理解的具体兴趣范围内，这说明了真正精准的受众定向有多么必要。其次，要注意设定与关注程度相匹配的理解门槛。对于互联网广告，由于用户的关注程度非常低，我们应该集中强调一个主要诉求以吸引用户的注意力。
4. 接受：认可传达的信息。广告的上下文环境对于广告的接受程度有着很大的影响，优质媒体具有品牌价值。让合适的广告出现在合适的媒体上，即广告安全（ad safety）的问题，正在引 起大家越来越多的关注。
5. 保持：给用户留下长久记忆，影响他长时间的选择。
6. 决策：用户的转化行为。广告只能是铺垫。

定性地说，越靠前的阶段，其效果的改善对点击率的贡献越大；而越靠后的阶段，其效果的改善对转化率的贡献越大。彼此不是孤立或绝对的。

互联网广告的技术特点

也就是不同于传统广告的特点：

1. 技术和计算导向。受众定向在线上成本很低，技术使得广告决策和交易朝着计算驱动的方向发展。由于独特的竞价交易模式，广告效果精确的预估和优化能力也很重要。
2. 效果的可衡量性。绝对值无意义，比较相对值。
3. 创意和投放方式的标准化。大家可以充分利用整个市场的流动性，更快地创造更多的价值。
4. 媒体概念的多样化。虽然越接近转化的媒体上的广告带来的流量一定可以达到越高的ROI，但离“引导潜在用户”这样的广告目的也就越远。因此从需求方看在线广告时，应该注重各种性质媒体的配合关系，并从整合营销的角度去审视和优化整体的效果。
5. 数据驱动的投放决策。互联网化的根本驱动力可以认为是数据的深入加工和利用。

计算广告的核心问题

Andrei Broder认为核心研究挑战是"Find the best match between a given user in a given context and a suitable advertisement"，作者认为是为一系列用户与环境的组合找到最合适的广告投放策略以优化整体广告活动的利润。改变在于，一个是强调广告问题优化的是一组展示上的效果，而非孤立的某一次展示上的效果，因为有量的约束；第二是去掉了given，因为用户或上下文标识不一定能拿到，但也能计算优化。最后强调优化结果是广告投放策略，而不是最后的展示。

核心挑战形式化为最优化问题为：
$$\underset{a_{1,\cdots ,T}}{\max }\sum _{i=1}^T(r(a_1,u_i,c_i)-q(a_i,u_i,c_i))$$
其中r是收入，q是成本，依赖因素a、u、c表示广告、用户和环境，优化一组广告展示的利润。如果广告预算为常数，则等价于ROI。对于除了DSP之外的广告产品，要么是自营或包断资源，要么按以收定支的方式与媒体分成，其成本也对应为常数或正比于收入，在这种情形下，成本部分可以从上面的优化公式中去掉。在实际的系统中会采用频次控制、点击反馈等方法来应对多次展示之间效果相关性的问题，因为并不是完全可分解的。

广告收入的分解

能够主动优化的往往是收入。广告展示产生后，首先产生的是点击行为，广告点击与广告展现的比率称为点击率（Click Through Rate，CTR）；点击行为成功以后，将会打开广告主的落地页（landing page），落地页成功打开次数与点击次数的 比例称为到达率，这是在广告主网站上发生的；如果用户从落地页开始，进一步完成下单等操作，则称为转化，转化次数与到达次数的比例称为转化率（Conversion Rate，CVR），这是在广告主网站上或线下发生的。对收入，即估计的千次展示收益进行分解：
$$eCPM=r(a,u,c)=\mu (a,u,c)\cdot v(a,u,c)$$
$\mu$表示点击率，描述发生在媒体上的行为；$v$表示点击价值（clickvalue），即单次点击为广告产品带来的收益，描述发生在广告主网站上的行为。在对多个检索候选进行排序时，广告产品根据eCPM排序，而用户产品根据CTR。如果我们将所有的点击价值都等同起来，那么可以认为根据CTR 排序是根据eCPM 排序的一种特例，这也使得将内容与广告统一排序的原生广告成为可能。

结算方式与eCPM 估计的关系

根据eCPM的分解决定哪部分由谁来估计是广告市场各种计费模式产生的根本原因：

1. CPT（cost per time）结算，针对大品牌广告主，独占一定时间广告位，适用于强曝光属性，有一定定制性的广告位。非常不利于受众定向和程序交易的发展，因而从长期的角度来看，其比例会有下降的趋势。
2. CPM 结算，即按照千次展示结算。目标是较长期的利益，核心要求是用户接触。在大多数互联网品牌广告，特别是视频广告中，CPM 都是主流的结算方式。
3. CPC 结算，即按点击结算。效果类广告普遍采用。
4. CPS（cost per sale）/CPA（cost per action）/ROI 结算，即按照销售订单数、转化行为数或投入产出比来结算。都是按转化付费的变种。完全代表广告主利益，主要适合于一些垂直广告网络（vertical ad network），DSP。