计算广告——读书笔记（一）

计算广告的核心问题，是为一系列用户与环境组合找到最合适的广告投放策略以及优化整体广告活动的利润（Find the best match between a given user in a given context and a suitable advertisement）。另外，广告优化是一组展示上的效果，用户或上下文唯一标识也不一定能拿的到。

3.1 广告收入的分解

点击与展示的比率成为点击率（Click Through Rate，CTR）；

落地页成功（landing page）打开次数与点击次数比例成为达到率；

从落地页进一步完成下单等操作，转化次数与达到次数的比例成为转化率（Conversion Rate，CVR）

按按照媒体网站和广告主网站上行为段对回报r进行分解：

$eCPM=r(a,u,c)=\mu (a,u,c)\cdot \upsilon (a,u,c)$

a,u,c分别代表广告、用户和环境， $\mu$ 表示点击率， $\upsilon$ 表示点击价值（click value），即单次点击为广告产品带来的收益。前一部分描述的是发生在媒体上的行为，后一部分描述的是发生在广告主网站上的行为。在对多个检索候选进行排序时，是根据eCPM还是CTR排序也是区分广告产品和用户产品的重要策略特征。

在电商中，点击价值可以分解为达到率、转化率和客单价的乘积。

3.2 结算方式与ECMP估计关系

市场上主要的几种广告计费模式：

CPM结算，按照千次展示结算，常用于互联网品牌广告。

CPC结算，按点击结算，常用于效果广告。

CPS（cost per sale）/CPA（cost per action）/ROI，按照销售订单数、转化行为数或投入产出比结算，常用于垂直广告网络（vertical ad network）。

CPT（cost per time）结算，针对大品牌广告主特定的广告活动，将某个广告位以独占方式交给某广告主，并按独占的时间段收取费用的方式。

4. 在线广告相关行业协会

交互广告局（Interactive Advertising Bureau，IAB，http://www.iab.net），是站在供给方的长远利益上来研究和影响市场。IAB 的典型会员是 Google、Facebook、Yahoo!、Microsoft 这样的广告供给方以及 AudienceScience、MediaMath 这样的广告技术公司。制定了几个重要的规范：

横幅广告创意尺寸标准
视频广告标准 VAST（digital video ad serving template）
通用实时竞价接口标准 OpenRTB

美国广告代理协会（American Association of Advertising Agencies，4A）并不是一个专门从事互联网广告的组织，而是线上线下各种广告，特别是品牌广告的代理商在美国的行业协会。4A 公司的典型代表有奥美（Ogilvy&Mather）、智威汤逊（JWT）、麦肯（McCann）等。

美国国家广告商协会（Association of National Advertisers，ANA）是一个广告主的协会，也是最彻底地代表需求方利益的组织。会员多是 AT&T、宝洁（P&G）以及 NBA 等这些拥有大量广告预算的广告主。

5. 问题

1.CPA/ROI 的结算方式看似对广告主有利，实际也催生了一些变形的推广方式。请考察你接触到的 CPA/ROI 渠道，并研究其与 CPM 或 CPC 渠道的关键差异。

最主要还是转化行为大多为用户在广告商（需求方）站内发生，因此无法进行准确的估计和优化。广告主甚至可以故意扣单来低成本赚取大量曝光。

2.对广告产品而言，优化利润与优化 ROI 有什么区别？

如果仅仅是优化ROI并不一定能带来“大量的潜在用户”，其实还是品牌／效果那个问题。

3.在社交网络中发生的传播营销过程与典型的展示、点击、转化流程有很大不同，请对此建立一个合理的模型，并分析其中的关键量化指标。

社交网络中的广告，可以有互动，可以被转发
曝光、关注：曝光量，阅读量
理解、接受：交互量（点赞、转发）
保持、决策：转化

三、在线广告产品概览

1. 商业产品的设计原则

优化商业目标，并在运营过程中有一些需要注意的关键点。

产品策略：竞价中机制设计、冷启动数据探索、受众定向的标签体系
关注数据：商业产品的目标是确定和可优化的，让运营和产品优化形成闭环。
产品便捷性

2. 需求方层级组织与接口

广告主、广告（推广）计划（campaign）、广告（推广）组（ad goup）、广告创意（creative），投放规模大的广告凭条以API接口，否则界面。

3. 供给方管理接口

添加、删除广告位以及查看各广告位的运营数据是主要的功能需求。

四、合约广告

包括按 CPM 计费的展示量合约广告和按 CPT 结算的广告位合约。

1. 广告位合约

按CPT结算广告位合约：强曝光属性带来品牌冲击，或横幅位置长期独占购买有利于形成橱窗购买。

按照广告位轮播售卖，常见于中国门户网站的品牌广告中。

2. 受众定向

按展示量结算合约广告产品的基础是按照受众售卖

2.1 受众定向方法

地域定向（geo-targeting）：广告主业务有区域性，上下文，查表；

人口属性定向（demographical targeting）：年龄、性别、教育程度、收入水平等；

频道定向（channel targeting）：内容分类体系将库存按照频道划分；

上下文定向（contextual targeting）：根据网页的具体内容来匹配相关广告，上下文定向粒度是关键词、主题或根据广告主需求确定的分类；

行为定向（behaviorial targeting）：根据用户历史访问行为了解用户兴趣，从而投送广告；

精确位置定向（hyper-local targeting）

重定向（retargeting）：对某个广告主过去一段时间的访客投放广告以提升效果；

新客推荐定向（look-alike targeting）：根据广告主提供的种子访客信息，结合广告平台更丰富数据，为广告主找到行为上相似的潜在客户；

团购（group-parchase）

2.2 受众定向标签体系

分类法制定一个层次标签体系，上层标签是下层的父节点，结构化标签体系。

不存在明确父子关系的半结构化或非结构化标签体系。

当标签作为广告投放直接标识，往往采用结构化标签体系；当标签仅仅是投放系统需要的中间变量，则没必要选择结构化标签。

3. 展示量合约

CPM虽然是比较传统交易模式，但已经反映互联网广告计算驱动的本质：分析得到用户和上下文的属性，并由服务端根据这些属性及广告库情况动态决定广告候选。

3.1 流量预测

广告里一般的流量预测问题，可以描述成对流量 t（u，b）这个函数的估计，其中第一个参数 u 是给定的人群标签或人群标签的组合，第二个参数 b 是出价。在展示量合约中，由于没有竞价，可以看成是上述问题在 b→∞情形下的特例。

3.2 流量塑性

流量塑形的典型场景是综合性门户网站上售卖的展示量合约广告。

3.3 在线分配

各个合约要求的人群很可能大量交叠，如何设计分配策略，使得各个合约都尽可能被满足，将其简化为一个二部图（bipartite graph）匹配的问题。二部图的一方是表示广告库存的供给节点，每个节点代表的是所有人群标签都相同的广告流量集合；二部图的另一方是表示广告合约的需求节点，每个节点代表的是一个广告合约的人群标签条件。

4. 问题

1. 除了广告位合约和展示量合约，是否可以设计一种点击量合约的交易模式，它会遇到什么样的挑战？

对于一组广告创意而言，在素材非媒体方提供的前提下，媒体没办法保证点击量；而素材基本上不可能由媒体提供，故不可能有点击量合约。

2. 在展示量合约中售卖的受众往往有监测上的要求，那么对于行为定向这样的不易监测的用户标签而言，有什么产品思路提高其市场接受程度？

五、搜索与竞价广告

广告竞价标定的物：上下文页面中的关键词，用户行为加工的兴趣标签，广告位。

1. 搜索广告的产品形态

搜索广告竞价的标的物是竞价关键词（bid term），用户输入的查询（query）通过与关键词相匹配来确定是否可以触发该条广告。

搜索广告变现能力，即eCPM远高于一般的展示广告；
搜索广告的受众定向标签，即是上下文的搜索查询。eCPM 由一般情形下的 r（a，u，c）退化成了 r（a，c）；
搜索广告的展示形式与自然结果的展示形式非常接近，往往仅仅在底色和文字链接中有不太引人注目的提示；
从搜索广告发展起来的竞价交易模式已经逐渐发展成为互联网广告最主流的交易模式；

2. 搜索广告产品新形势

超越文字链的创意
弱相关广告形式
原生化探索

3. 搜索广告产品策略

搜索广告的整个决策过程可以分为查询扩展、检索、排序、放置、定价等几个阶段。查询扩展是搜索广告独有的策略，目的是给广告主自动地拓展相关的查询词，扩大采买流量；广告检索和将候选广告根据 eCPM 排序是广告系统较为通用的核心流程，而定价是竞价广告非常核心的策略。

在搜索广告中，排序的依据，即 eCPM，可以简单地表示成 r（a，c）=µ（a，c）·bidCPC（a）。

3.1 查询匹配

精确匹配

不对广告主提供的关键词做任何形式的扩展，保证忠实按照广告主意图精准执行。

短语匹配

当用户的查询完全包含广告主关键词及关键词（包括关键词的同义词）的插入或颠倒形态时，就认为匹配成功，可以触发相应的广告候选。

广泛匹配

当用户的查询词与广告主的关键词高度相关时，即使广告主并未提交这些查询词，也可能被匹配。

否定匹配

同时向广告主提供否定匹配的功能，即明确指出哪些词是不能被匹配的，这样可以灵活地关停一些低效的流量。

3.2 广告放置

广告候选完成排序以后，需要分别确定北区数（North Foot Print，NFP，或 Average Show Number，ASN）和东区的广告条数，这个环节称为广告放置（ad placement），最关键的是进入北区的条件。从两各方面考虑：一是该广告相关性是否足够；二是该广告的 RPM （千次展示收益，Revenue per Mille，RPM）是否足够。前者是为了确保用户体验，后者是为了高效地利用展示位置

搜索广告的决策一般来说不太考虑用户 u 的影响，但是在确定北区广告条数这个问题上是个例外，这就是个性化的广告放置。

4. 产品案例

Google AdWords

CPM->CPC->eCPM

淘宝直通车

在一些高商业价值的垂直搜索引擎（如电商、房产、汽车、应用下载）之中，利用搜索广告的产品体系进行变现是需要最优先考虑的流量变现方式。

5. 位置拍卖与竞价设计

假设有一组广告位可以被占用，将这些广告位按照其经验价值排名，分别记为 s=1，2，···，S（对横幅广告而言，这里的 S 一般为 1）。在某次广告请求中，有一组广告 a=1，2，···，A 出价参与拍卖，每个广告的出价记为 ba，系统将前 S 个高出价的广告
依次放到前面排序好的 S 个广告位上，这样的问题称为位置拍卖（position auction）。根据前文的讨论，当某个广告 a 被放在 s 位置上时，其期望收益即 eCPM 为 $r_{as}=\mu _{s}\cdot \upsilon _{a}$ 。这里我们作了一些假设，比如，点击率 µ仅与位置 s 有关，而点击价值 ν 仅与广告 a 有关。

5.1 定价问题

整个竞价系统处于纳什均衡（Nash equilibrium）状态，即每个广告主都通过出价得到最符合自己利益的位置。其表达式如下：

$\mu _{s}\left ( v _{s} -q_{s} \right )\geqslant \left ( v_{s}-q_{t} \right ),\forall t>s$

$\mu _{s}\left ( v _{s} -q_{s} \right )\geqslant \left ( v_{s}-q_{t-1} \right ),\forall t<s$

$v _{s}$ 指的是排在 s 位置上的广告的点击价值，并非 s 位置带来的点击价值，而 $q_{s}$ 指的是市场向排在 s 位置上的广告收取的费用，即定价，也就是广告主的单次投入。这一均衡状态的意义很容易理解：对于最终位置排名竞价结果中的每一条广告，其收益都比排在其他位置上要高。

常见的定价策略有GSP(Generalized Second Price)方案和VCG（Vickrey-Clarke-Groves）定价策略。

广义第二高价（GSP），指的是在只有一个位置的拍卖中，向赢得该位置的广告主收取其下一位广告主的出价。广义第二高价却有着实现简单、容易向广告主解释等诸多操作中的优点，因此在实际的竞价广告系统中是最主流的定价策略。

VCG，其基本思想是：对于赢得了某个位置的广告主，其所付出的成本应该等于他占据这个位置给其他市场参与者带来的价值损害。

$q_{s} = \sum_{ t>s}^{\infty} \left ( \mu _{t-1}-\mu _{t} \right )\upsilon_{t}$

5.2 市场保留价

为了控制广告的质量和保持一定的出售单价，竞价广告市场往往要设置一个赢得拍卖位置的最低价格，这一价格我们称为市场保留价（Market Reserve Price，MRP），俗称“起价”或“底价”。当竞争较充分、广告主深度足够时，MRP 可以设置得比较高；反之则应适当降低。

5.3 价格挤压

在 CPC 结算的广告产品中，eCPM 可以表示成点击率和出价的乘积，即 $r=\mu \cdot \upsilon=\mu \cdot bid_{CPC}$ 。但是在竞价的机制设计中，有时会对此公式做一些微调，把它变成下面的形式：

$r=\mu^{\kappa } \cdot bid_{CPC}$

其中的 $\kappa$ 为一个大于 0 的实数。可以考虑两种极端情况来理解 $\kappa$ 的作用：当 $\kappa$ →∞时，相当于只根据点击率来排序而不考虑出价的作用；反之，当 $\kappa$ →0 时，则相当于只根据出价来排序。因此，随着 $\kappa$ 的增大，相当于我们在挤压出价在整个竞价体系中的作用，因此我们把这个因子叫做价格挤压（squashing）因子。
价格挤压因子的作用主要是能够根据市场情况更主动地影响竞价体系向着需要的方向发展。比如说，如果发现市场上存在大量的出价较高但品质不高的广告主，则可以通过调高 $\kappa$ 来强调质量和用户反馈的影响；如果发现市场的竞价激烈程度不够，则可以通过降低 $\kappa$ 来鼓励竞争，如果存在短期的财务压力，这样就可以短期使得整体营收有所上升；如果为了鼓励广告主提高广告质量和相关性，则可以通过提高 $\kappa$ 来降低出价的影响。

6 广告网络

合约式的售卖方式必然无法消耗所有的库存，实际销售中为了控制售卖比例以获得更高的品牌溢价空间，未通过合约售卖的广告流量很多。这部分流量我们称为剩余流量（remnant inventory）。

竞价广告产品关键是，售卖的标的主要是人群，而广告位被淡化了。当流量满足多个广告活动的要求时，简单采用竞价模式而不用考虑量的合约。有下面几个关键特点：

竞价方式不向广告主做量的约定，而是根据变现能力，即 eCPM，来决定每次展示分配给哪个广告主；
由于是按人群售卖，广告网络会极力淡化媒体和广告位的概念，不适合广告主的品牌类需求；
从商业角度，提高市场流动性，改善广告网络运营方现金流；

6.1 广告网络的产品策略

决策过程分为检索、排序、定价等几个阶段。

广告检索

广告与搜索面对的文档其实不同，它往往是一个用布尔表达式表达的投放条件，而不是可以简单看成一个词的集合。

搜索广告检索与搜索基本一致，用常规的倒排索引技术就可以解决。展示广告网络与搜索广告不同，由于用户意图不明确，我们往往要将更多的关键字、兴趣标签同时用于检索过程。

广告排序

竞价广告中排序的准则是 eCPM，而在 CPC 结算的情形下，对 eCPM 的估计转化为对点击率的估计问题。广告网络中的 CTR 预测有两方面的困难：

点击数据更加稀疏，而且需要同时考虑上下文和用户量方面的信息，这使得各种新广告、新策略的冷启动问题非常突出；
广告网络中由于广告位的差别巨大，点击率的变动范围很大，这使得稳健地估计点击率变得相对困难；

6.2 产品案例

Google Display Network

淘宝客

7. 竞价广告需求方产品

竞价广告需求可以分解为两个基本问题：

如何挑选合适目标人群；
如何对目标人群给出合适的出价；

7.1 搜索引擎营销

通过竞价采买搜索引擎关键词来做推广，这就是搜索引擎营销，即SEM。在SEM中具体表现是关键词和出价。

7.2 媒体购买平台

面向展示广告网络的一站式采买平台称为媒介采买平台，与之类似的概念还有交易终端（Trading Desk，TD）。难点在于ROI优化。

8. 问题

在网址导航类产品的销售中，往往采取按月线下竞价然后签订广告位合约的模式，这属于合约广告还是竞价广告？

合约广告。虽然竞价售卖，但售卖广告位+时间，非CPC结算，更偏向合约类。

六、程序化交易

询价、出价和竞价在展示时进行，产生了以实时竞价即RTB为核心的程序化交易。由此产生广告交易平台ADX，其主要特征是用RTB的方式实时得到广告候选，并按照出价简单完成投放决策。与ADX对应的采买方，成为需求方平台DSP。

从需求方来看，定制化的用户划分能力使得广告主可以像优化自己的推荐系统那样优化广告购买，唯一的区别是这个推荐系统是放在站外的。出价需求的存在和广告主预算范围内的套利要求 DSP 具备点击率预测、点击价值估计、流量预测、站外推荐等多方面的运算能力。

RTB催化了另一个重要的市场：数据交易平台（data exchange）和数据管理平台 DMP

1. 实时竞价

广告网络封闭式竞价方案是无法规模化和精细化地针对定制化标签进行投放的。

实时竞价流程

预先进行的将 ADX 与 DSP 的用户标识对应起来的 cookie 映射（cookie mapping）过程和线上广告请求时的竞价和投放过程。

cookie映射

cookie 映射。当供给和需求双方都可以得到同样的用户标识时，实时竞价并不是总需要此映射过程。但是，当双方能够得到的用户表示不同，特别是在 Web 环境下根据cookie 投放广告时，需要一个预先的映射过程。cookie 映射一般是由 DSP 在广告主网站上发起，这样做的原因是，一般情况下 DSP 负责的是加工广告主定制受众标签，因而不需要对所有用户都建立对应关系。细分为：

从广告主网站向 DSP 服务器发起 cookie 映射请求；
DSP 与 ADX 服务器之间通信完成 cookie 映射；

广告请求

用户浏览媒体网站；
媒体网站通过 JavaScript 或 SDK 向 ADX 发起广告请求；
ADX 向各 DSP 传送 URL 和本域名 cookie，发起询价请求。DSP 根据预先做好的 cookie 映射查出对应的已方 cookie，决策是否参与竞价，如果参与，则返回自己的出价。在等待一个固定的时间片后，ADX 选出出价最高的 DSP 返回给媒体网站；
媒体网站从胜出的 DSP 拿到广告创意并展示；

2. 其他程序化交易方式

在实时竞价产生以后，广告交易越来越多地依赖机器间在线的协商而非事先约定或人工操作完成，除了实时竞价外，市场上还有其他的程序化交易方式，如优化和私有市场。

广告交易方式谱系

3. 广告交易平台

广告交易平台，即 ADX，是程序化交易时代的关键产品，它负责将媒体流量以拍卖的方式售卖给 DSP，可以类比于证券市场中的交易所。ADX 一般为 CPM 结算方式，DSP 可以自行精细估计点击率，并实时计算出当前展示的合理 eCPM，将 eCPM 整体的估计都交给需求方是比较合适的市场分工。代表产品是RightMedia和DoubleClick ADX。

4. 需求方平台

与 ADX 相对应，以 RTB 方式购买广告的产品形态就是需求方平台，即 DSP。这一产品的核心特征有两个：一个是 RTB 方式的流量购买，另一个是需要支持需求方定制化的用户划分。

4.1 需求方平台产品策略

DSP广告决策过程包括过检索、排序、定价几个阶段，与广告网络差别是增加了出价阶段。

在各种定制化标签中，重定向和 look-alike（新客推荐）的方法具有一定的普适性。

4.2 出价策略

在 DSP 中，由于每次展示都要按 CPM 向 ADX 报价，因此准确地估计 eCPM非常关键，这也成为 DSP 出价策略的基础。通过历史的观察和预测得到市价的曲线；然后，将一天的预算分配到那些市价较低的流量上。除了在时间轴上找合适的出价区间，也可以将此策略拓展到更多的维度上，如性别等。

4.3 重定向

把那些曾经对广告主服务发生明确兴趣的用户找出来，向他们投放该广告主的广告。重定向主要用于品牌广告和效果广告。分为网站重定向和个性化重定向、搜索重定向。

网站重定向（site retargeting）

将在一段时间内到达过广告主网站的用户作为重定向集合。主要包括：一是广告主网站本身的独立访客量水平，二是这些访客与媒体的重合程度。

个性化重定向（personalized retargeting）

对重定向流量进行深入加工，按照品类和购买阶段等因素进行创意上的深度个性化。可以看做站外推荐。

主要向两个方面挖掘：一是对于处于不同购买阶段的用户，采用合适的创意推动他尽快完成转化行为，这里的购买阶段包括浏览、搜索、加入购物车等；二是对于已经有过一些购买记录的用户，使用推荐技术向其展示相关的商品以提升二次购买率。

搜索重定向（search retargeting）

搜索过与广告主直接相关的关键词的用户群作为重定向集合。

4.4 新客推荐

有可能对自己产品发生兴趣，由广告主根据自己的第一方数据提供一部分种子用户，再由拥有更丰富数据的第二方数据的广告平台分析这些用户网络行为的特征，并根据这些特征找到具有相似特征的拓展人群。这样的标签加工策略称为新客推荐，即 look-alike。

4.5 产品案例

Criteo

InviteMedia

聚效

5. 供给方平台

广告请求是被分配到自运营广告库，还是其他广告网络，或者是 DSP，是根据他们的收益在线动态决定的，这样的方案称为动态分配（dynamicallocation）。对应的产品形态就叫作供给方平台（Supply Side Platform，SSP）。

5.1 供给方平台产品策略

从自有广告库中根据当前受众标签检索合适的广告候选，并估计每个广告候选的 eCPM；
排序得到 eCPM 最高的广告候选以及相应的 eCPM 值 $r_{MAX}$ ；
同样根据环境信息和受众标签估算出各个合作的广告网络大致的 eCPM；
排序得到 eCPM 最高的广告网络以及相应的 eCPM 值 $r^{'}_{MAX}$ ；
以为底价 $\tiny max\left \{ r_{MAX},r^{'}_{MAX} \right \}$ ，通过 RTB 接口向各个合作的 DSP 查询更高变现价值的广告；

5.2 产品案例

Admeld

Rubicon

6. 数据加工和交易

提高定向的精准程度与人群覆盖率，技术远不是唯一重要的因素。那么什么才是决定性的呢？是数据的来源与质量。

6.1 有价值的数据来源

用户标识

Web浏览器cookie，IOS用户标识符IDFA，安卓的Android ID或IMEI。

用户行为

转化（conversion）、预转化（pre-conversion）、搜索广告点击（sponsored search click）、展示广告点击（ad click）、搜索点击（search click）、搜索（search）、分享（share）、页面浏览（page view）、广告浏览（ad view）等在线行为是可以被广泛采集并且对于受众定向或广告决策有明确作用。

人口属性

地理位置

社交关系