《计算广告》读书摘录笔记

基础概念

广告

广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。广告的根本目的是广告主通过媒体达到低成本的用户接触。

是希望借助媒体的力量来快速接触大量用户，以达到宣传品牌形象、提升中长期购买率与利润空间的目的。这种目的的广告称为品牌广告（brandawareness）。当然，也有许多广告商希望能利用广告手段马上带来大量的购买或其他转化行为，这种目的的广告称为直接效果广告（direct response），有时也简称为效果广告。

广告的收益如何评估？
要确定是否真的成本较低，需要用到投入产出比（Return On Investment，ROI）这一评价指标，即某次广告活动的总产出与总投入的比例。在实际中，广告活动的总投入容易确定，但总产出的确定却不那么容易，特别是在投放以中长期收益为目标的品牌广告时。

广告的种类演变

创意

创意是广告的表现形式，根据不同的投送方式和交互方式，广告可以分为：

• 横幅广告（banner ad）一般是嵌入在页面中相对固定位置的图片，需要占据固定的版面。
• 文字链广告（textual ad）是一段链接到广告主落地页的文字，在搜索广告中为主流形式，同时在展示广告中也被广泛采用。
• 富媒体广告（rich media ad）是谁利用视觉冲击力较强的表现形式，在不占用固定版面位置的情况下，向用户侵入式地投送广告素材。
• 视频广告（video ad）在视频流播放的间隙插入的广告也成为互联网广告的一种重要形式
• 社交广告（social ad）是在社交网络环境下嵌入的广告可以通称为社交广告。
• 邮件定向营销广告（E-mail Direct Marketing，EDM）是通过电子邮件的方式向目标用户传递推广信息的一种网络营销手段。

泛广告产品

本质也是付费推广，形式有团购、游戏联运、固定位导航、返利购买。电商优惠券也是一种返利购买的营销推广形式。

有效性原理

广告从产生用户接触开始是如何产生最终效果的？

1. 曝光：也就是广告的直接展示。
2. 关注：让受众注意到展示的过程，如果受众根本不在意或者没留意到展示，那么广告的推送就是毫无意义的。定向广告和原生广告能够提高这一阶段的成功率。
3. 理解：当受众关注到了广告之后，需要广告的创意形式和内容理解门槛与受众所匹配，创意需要集中强调一个主要诉求以吸引用户的注意。
4. 接受：需要让受众认可广告展示的信息。如果表达的信息有问题，可能还会造成负面效果。因此，这也是智能定向领域的一部分，以及广告的安全问题。
5. 保持：让广告在受众脑中产生长久的印象，这是品牌广告主要追求的，例如一颗钻石永流传。
6. 决策：成功广告的最终作用是带来用户的转化行为。

计算广告的核心问题

计算广告的核心问题，是为一系列用户与环境的组合找到最合适的广告投放策略以优化整体广告活动的利润。可以表示为数学公式：

这里的 i 代表从第 1 次到第 T 次之间的某一次广告展示。我们优化的目标就是在这T次展示上的总收入（r）与总成本（q）的差，即广告活动的利润。
当一次推广的成本是固定的，则可以讲问题转化为：
表达式中的 a、u、c 三个变量，分别代表广告、用户与环境，即广告活动的三个参与主体，显然，广告展示的收入或成本与这三个因素都有关系。

广告收入的组成：
eCPM 一般指的是估计的千次展示收益，它有两个很相近的概念：如果讨论的是千次展示收入，往往用 RPM；如果讨论的是千次展示成本，往往用CPM。

用µ表示点击率，用ν表示点击价值（clickvalue），即单次点击为广告产品带来的收益。广告点击与广告展现的比率称为点击率（Click Through Rate，CTR）；点击行为成功以后，将会打开广告主的落地页（landing page），落地页成功打开次数与点击次数的比例称为到达率，这是在广告主网站上发生的；如果用户从落地页开始，进一步完成下单等操作，则称为转化，转化次数与到达次数的比例称为转化率（Conversion Rate，CVR）。

计费模式

• CPM（Cost Per Mille）：即按照千次展示结算。实际上，在大多数互联网品牌广告，特别是视频广告中，CPM都是主流的结算方式。
• CPC（Costper Click）：即按点击结算。这种方式最早产生于搜索广告，并很快为大多数效果类广告产品所普遍采用。
• CPS（cost per sale）/CPA（cost per action）/ROI ：即按照销售订单数、转化行为数或投入产出比来结算。

在线广告产品逻辑

产品形式可以分为：

• 合约广告：又可以分为按照时段售卖的 CPT 广告和按照约定展示量售卖的 CPM 广告。这类广告产品主要服务于后续效果不宜直接衡量的品牌类广告主，在门户网站和视频网站较为常见。
• 竞价广告：其最重要的形式是搜索广告，其产品形式为对搜索关键词的竞价。这种广告在拓展到站外展示广告流量时，演进成了对页面关键词或者用户标签竞价的产品形式，也就是 ADN。竞价广告的商业逻辑与合约广告完全不同，也是解决效果类广告需求的关键产品形式。
• 程序化交易广告：竞价广告的进一步发展催生了实时竞价的交易形式。以实时竞价为核心的一系列交易方式逐渐演变为机器之间以程序化的方式完成广告交易决策，因此，这类产品称为程序化交易广告产品。
• 原生广告：广告的产品体系除了自身的演进，另一个重要课题是如何处理与非商业化内容的关系，让广告与内容尽可能以“原生”的方式共存。

对于每一种广告的产品形态来说，都可能会有三个主要的组成部分：面向需求方的接口、面向供给方的接口、中间的投放系统及匹配策略。

设计原则

商业产品指的是面向商业客户而非一般用户的产品，其中最典型的代表就是互联网广告产品。商业产品的设计和运营有着一定的共性原则。

1. 关注策略算法：策略本身是商业产品非常关键的环节，以广告为例，竞价中的机制设计、冷启动时的数据探索、受众定向的标签体系都是产品策略需要考虑的内容。策略上看似简单的调整往往能带来广告系统收入上巨大的变化。
2. 关注数据：让运营和产品优化形成闭环。由于商业产品的目标是确定和可优化的，所有产品特征和策略的成功与否要严格根据数据的反馈来判断。同时，新产品功能的规划也要在洞察历史数据和其他用户产品数据的基础上进行。从数据分析开始，以数据结束，这样的闭环式迭代是最适合商业产品的开发模式。
3. 便捷性：不过在商业产品中，实现功能以外过于新奇、炫酷的产品外观和交互模式是应当避免的。

广告管理层级

1. 广告计划概念上对应于广告主的一次投放合同，其中包括了预算、时间范围等基本信息。
2. 广告组对应于一个具体的广告投放策略，主要是设定受众定向条件和出价。
3. 广告创意则是最终展示出来的素材，可能在同一个组策略下有不同尺寸的创意存在。

合约广告

合约式广告的重点是按 CPM 计费的展示量合约广告。这种方式仍然以合同的方式确定一次广告活动的投放总量和展示单价，但是售卖的对象已经由“广告位”进化到了“广告位+人群”。

广告位合约

广告位合约是最早产生的在线广告售卖方式。它是指媒体和广告主约定在某一时间段内、在某些广告位上固定投送该广告主的广告，相应的结算方式为CPT。这种方式的缺点非常明显，即无法做到按受众类型投放广告，因而也无法进行深入的效果优化。可以说，广告位并不是目前互联网广告的主流模式。在一些特定的场景下也有一定的好处：首先，在一些强曝光属性的广告位上采用这种独占式的广告投放，往往可以有效地给用户带来品牌冲击；而在其他一些横幅位置长期独占式的购买有利于形成“橱窗效应”，塑造不断攀升的品牌价值和转化效果；还有一点，这种销售模式由于可以向广告主提供一些额外的附加服务，比如同一个页面上的竞品互斥，使得高溢价的流量变现成为可能。
随着受众定向技术的发展，广告位独占式售卖的执行方式也发生了很大的变化。即使某个广告位全部投放一个广告主的创意，也并不意味着一定要投放同样的一款创意，而受众定向在其中也可以起到很重要的作用。

受众定向

随着在线广告技术和业务的发展，产生了各种各样的受众定向方法，这些方法的综合应用使得广告的精准程度越来越高。
定向方法的性能：一是定向的效果，即符合该定向方式的流量上高出平均eCPM的水平；二是定向的规模，即这部分流量占整体广告库存流量的比例。

定向类型可以分为：

• 地域定向（geo-targeting）
• 人口属性定向（demographical targeting）
• 频道定向（channel targeting）：不同媒体的定向。
• 上下文定向（contextual targeting）：可以根据媒介展示的具体内容来匹配相关的广告。
• 行为定向（behaviorial targeting）：如果把上下文定向看成是根据用户单次访问行为的定向，那么行为定向可以认为是一系列上下文定向的融合结果。
• 精确位置定向（hyper-local targeting）
• 重定向（retargeting）：其原理是对某个广告主过去一段时间的访客投放广告以提升效果。
• 新客推荐定向（look-alike targeting ）
• 团购（group-purchase）：首先是一般都针对区域性的广告主，因此地域定向或者直接按照地域分类组织是必要的功能；另外，团购主要是利用价格工具，直接降低用户在决策阶段的门槛，使得价格敏感的用户转化效果有明显的提升，当然，这一手段也是要付出成本的。用类似的手段在创意上直接显示打折或降价的促销信息也被其他的电商类广告广泛使用。

人群标签：
我们需要一个标签体系，将每个用户映射到其中的一个或几个标签上去。如何规划合理的标签体系对广告产品的运营影响非常大，因此，这是产品策略中特别关键的一环。一般来说，这样的标签体系有两种组织方式：

• 一种是按照某个分类法（taxonomy）制定一个层次标签体系，其中上层的标签是下一层的父节点，在人群覆盖上是包含关系。
• 另外一种兴趣标签的组织方式，是根据广告主的具体需求设置相应的标签，所有的标签并不能为同一个分类体系中所描述，也不存在明确的父子关系。这种半结构化或非结构化的标签体系往往包含一些比较精准的标签的集合，因而主要适用于多种目标，特别是效果目标并存的广告主的精准流量选择要求。

展示量合约

展示量合约指的是约定某种受众条件下的展示量，然后按照事先约定好的单位展示量价格来结算。这种合约还有一个名称，就是担保式投送即 GD，其中的“担保”指的就是量的约定。实际执行中，在未能完成合约中的投放量时，可能要求媒体承担一定的赔偿。
我们也会把展示量合约通俗地称为CPM 广告。产品策略包括了：

• 流量预测：展示量合约售卖的是某特定人群上的广告曝光次数，而人群不同于确定的广告位，因此必须在合约中约定投放的量。于是，在产品策略上就产生了流量预测（traffic forecasting）这一问题。具体的用途还有，售前指导、在线流量分配、出价指导。
• 流量塑形：本质上还是被动地统计流量情况。在有些情形下，我们可以主动地影响流量，以利于合约的达成。
• 在线分配：各个合约要求的人群很可能大量交叠，如何设计分配策略，使得各个合约都尽可能被满足。为了描述这一策略问题，我们将其简化为一个二部图（bipartite graph）匹配的问题。

搜索与竞价广告

搜索广告在竞价广告乃至整个在线广告中都有着旗舰产品的地位。除了它的变现能力和市场规模方面的优势，更重要的是，一些在计算广告中非常核心的产品策略和技术方案都来源于搜索广告。
广告网络中竞价的标的物有两种:一是上下文页面中的关键词，这是直接从搜索广告衍生而来的；二是根据用户行为加工的兴趣标签，这是从展示广告的定向逻辑发展而来的。广告网络的竞价环境与搜索广告有所不 同，各种上下文或用户标签的有效性差别巨大，另外各种广告位的差别也会很大。

搜索广告

搜索广告是比较典型的竞价广告产品，其特点是广告主就某标的物(在这里是关键词) 的广告展示机会展开拍卖式的竞争，并根据竞争结果依次占据该广告展示的若干位置。
首先，量的保证不复存在，广告主需要自行调整 效果与量的平衡;其次，价格的约定也被去掉，每个广告主都可以随时调整各关键词上的出价。
搜索广告是以上下文查询词为粒度进行受众定向，并按照竞价方式售卖和 CPC 结算的广告产品。
搜索广告竞价的标的物是竞价关键词(bid term)，用户输入的查询(query)通过与 关键词相匹配来确定是否可以触发该条广告。匹配的方式及可以采取简单的精确匹配，也 可以有更多的扩展方式，查询扩展也是搜索广告的一项比较关键的产品策略。

搜索广告的整个决策过程可以分为查询扩展、检索、排序、放置、定 价等几个阶段。查询扩展是搜索广告独有的策略，目的是给广告主自动地拓展相关的查询词，扩大采买流量;广告检索和将候选广告根据 eCPM 排序是广告系统较为通用的核心流 程；而定价是竞价广告非常核心的策略。

查询扩展策略：

• 精确匹配，即不对广告主提供的关键词做任何形式的扩展，保证忠实按照广告 主意图精准执行。
• 短语匹配。当用户的查询完全包含广告主关键词及关键词(包括关键词的同义 词)的插入或颠倒形态时，就认为匹配成功，可以触发相应的广告候选。
• 广泛匹配。当用户的查询词与广告主的关键词高度相关时，即使广告主并未提 交这些查询词，也可能被匹配。
• 否定匹配。需要同时向广告主提供否定匹配的功能，即明确指出哪些词是不能被匹配的，这样可以灵活地关停一些低效的流量。

广告放置：
当广告候选完成排序以后，需要分别确定北区和东区的广告条数，这个环节称为广告 放置(ad placement)。
确定一条广告能否进入北区要考虑两个关键因素:一是该广告相关性是否足够;二是 该广告的 RPM 是否足够。前者是为了确保用户体验，后者是为了高效地利用展示位置。 另外，一般来说北区还会设定一个广告条数的上限。

位置拍卖与机制设计

以搜索广告为代表的竞价广告实际上是像拍卖那样销售广告展示机会。也就是说，系 统根据广告主的出价以及由此计算出的 eCPM 决定谁可以得到某次展示的广告位。在竞价 广告初始阶段，出价是广告主阶段性调整的;而到了广告实时交易阶段，广告主可以对每 次展示实时调整出价。
假设有一组广告位可以被占用，将这些广告位按照其经验价值排名，分别记 为 s=1，2，···，S(对横幅广告而言，这里的 S 一般为 1)。在某次广告请求中，有一组 广告 a=1，2，···，A 出价参与拍卖，每个广告的出价记为 ba，系统将前 S 个高出价的广告 依次放到前面排序好的 S 个广告位上，这样的问题称为位置拍卖(position auction)。

如何设计这样的位置拍卖问题中的一些重要机制往往对整个竞价市场的收益、稳定性、 公平性等有着巨大的影响，这一类问题称为机制设计问题。在广告中常见的机制设计问题 包括定价、市场保留价、价格挤压等。

定价问题：
围绕位置拍卖最重要的机制设计是所谓的定价(Pricing)问题，它探讨的是在一次位 置拍卖中给定各参与者的出价以及他们的期望收益，如何对最后获得某个位置的广告主收 取合适的费用。

在线广告竞价市场最常见的定价策略是 GSP 方案;另外有一种 VCG (Vickrey-Clarke-Groves)定价策略，虽然理论上比 GSP 更合理，但是由于原理较复杂， 向广告主解释起来有难度，因此在实际系统中采用的并不多。

• 广义第二高价(GSP)
  所谓第二高价，指的是在只有一个位置的拍卖中，向赢得该位置的广告主收取其下一位广告主的出价，这样的拍卖也叫作 Vickrey 拍卖。在搜索广告这种有多个位置的拍卖过程中，很容易直觉地将第二高价策略推广成下 面的策略:对赢得每一个位置的广告主，都按照他下一位的广告位置出价来收取费用，这就是广义第二高价。
• VCG
  VCG 定价是 Vickrey、Clarke 和 Groves 在研究竞价系统均衡状态时得到的一 种理论上较为优越的定价策略。其基本思想是:对于赢得了某个位置的广告主，其所付出 的成本应该等于他占据这个位置给其他市场参与者带来的价值损害。

市场保留价：
为了控制广告的质量和保持一定的出售单价，竞价广告市场往往要设置一个赢得拍卖 位置的最低价格，这一价格我们称为市场保留价(Market Reserve Price，MRP)，俗称“起 价”或“底价”。

价格挤压：
在 CPC 结算的广告产品中，eCPM 可以表示成点击率和出价的乘积，即 r=μ·ν=μ·bidCPC。但是在竞价的机制设计中，有时会对此公式做一些微调，把它变成下面的形式:
其中的κ为一个大于 0 的实数。可以考虑两种极端情况来理解κ的作用:当κ→∞时，相 当于只根据点击率来排序而不考虑出价的作用;反之，当κ→0 时，则相当于只根据出价来 排序。因此，随着κ的增大，相当于我们在挤压出价在整个竞价体系中的作用，因此我们 把这个因子叫做价格挤压(squashing)因子。
价格挤压因子的作用主要是能够根据市场情况更主动地影响竞价体系向着需要的方向 发展。比如说，如果发现市场上存在大量的出价较高但品质不高的广告主，则可以通过调 高κ来强调质量和用户反馈的影响;如果发现市场的竞价激烈程度不够，则可以通过降低κ 来鼓励竞争，如果存在短期的财务压力，这样就可以短期使得整体营收有所上升;如果为 了鼓励广告主提高广告质量和相关性，则可以通过提高κ来降低出价的影响。

广告网络

广告网络的产品功能是批量聚合各媒体的剩余流量，按照人群或上下 文标签的流量切割方式售卖给广告主。

产品形态：
广告网络中的投放决策过程对媒体而言类似于一个黑盒子:只需要在广告 位的剩余流量上调用广告网络的投放代码或 SDK，而不用关心每次展示的投放结果。在实 际运营中，广告网络既有竞价的售卖方式，也有合约的售卖方式。

对于一些有特殊业务需求或者特殊数据来源的媒体或媒体组合来说，有时候希 望能够直接从广告网络的广告库中挑选广告，并能够创造比广告网络自动挑选更多的价值。 因此，某些广告网络也会对一部分合作供给方开放广告库供其自行挑选，广告网络的这种 运营模式可以称为联盟(affiliate)模式。

竞价广告需求方产品

竞价广告市场的产生对需求方的技术也提出了新的要求:原来通过直接与媒体签订保量合约 的采买方式变成通过竞价为广告主完成量与质需求的采买产品。具体地说，这样的产品需 要具备一项基本功能，即按照广告主预算跨媒体一站式采买人群的功能。另外，还可以具备一项高级功能，即机器决策的 ROI 优化功能。

这样的需求可以分解为两个基本问题：一是如何挑选合适的目标人群，二是如何对各个目标人群给出合适的出价。

竞价与合约广告的比较

从供给方或广告市场方来看，合约广告和竞价广告的对比可以类比于计划经济和市场经济的区别：

• 在合约广告的情况下，所有量的保证和质的优化都是由媒体方的广告投放机来统一完成；
• 在竞价广告的情况下，市场只负责制定竞价和收费的规则，而各广告主量的保证完全采用市场竞争的方式来完成。

从需求端来看，合约广告的采买方式对广告主来说缺乏透明性，唯一能做的就是在合约的层面预先约定好一些最关心的利益条款，但是很难进行深入的优化。不过，合约的采买方式也有一定的好处，特别是对量的保证可以有预先的约定，这对于品牌性质较强的广告活动来说比较有意义的。

在竞价广告中，供给方和广告主的约定比较松散：首先，供给方不再向广告主承诺广告投放量；与此相对应，点击单价由广告主自行决定。这样的交易逻辑使得广告合同由首先确保量的结构变成了首先确保单位成本的结构。优势在于：

• 非常精细的受众定向可以被无障碍地使用在交易中，而这是展示量合约广告很 难做到的。
• 大量的中小广告主逐渐成为参与竞价的主体，这使得市场的规模得到了快速扩 张。
• 与合约广告相比，竞价广告中数据的价值得以彰显，整个市场开始以数据为核 心来组织和运营广告产品。

程序化交易广告

除了允许广告主按照已经定义好的用户划分来购买，还要进一步提供广告主自行选择 流量和在每次展示上独立出价的功能。这样的功能，必然要求询价、出价和竞价在展示时 进行，这也就产生了以实时竞价即 RTB 为核心的程序化交易市场。

RTB 的产生，使得广告市场向着透明的比价平台的方向发展，这样的平台就是广告交易平台，即 ADX，其主要特征即是用 RTB 的方式实时得到广告候选，并按照其出价简单完 成投放决策。与广告交易平台对应的采买方，我们称为需求方平台即 DSP。

实时竞价

把竞价过程开放，在广告展示时由需求方来判断是否需要并出价，就可以解决上面的问题，这样的思路就产生了实时竞价。

在加工人群标签的过程中需要利用到广告 主的数据。这样的标签称为定制化用户标签(customized audience segmentation)。
用定制化标签指导广告投放是实时竞价的关键产品目标。

实时竞价流程

1. cookie 映射。当供给和需求双方都可以得到同样的用户标识时，实时竞价并不是总需要此映射过程。但是，当双方能够得到的用户表示不同，特别是在 Web 环境下根据 cookie 投放广告时，需要一个预先的映射过程。
2. 广告请求。DSP 根据预先做好的 cookie 映射查出对应的已方 cookie，决策是否参与竞价，如果参与，则返回自己 的出价。在等待一个固定的时间片后，ADX 选出出价最高的 DSP 返回给媒体网站。媒体网站从胜出的 DSP 拿到广告创意并展示。

广告交易平台

广告交易平台，即 ADX，是程序化交易时代的关键产品，它负责将媒体流量以拍卖的方式售卖给 DSP，可以类比于证券市场中的交易所。

ADX 的产品策略较为简单，由于所有的广告竞价都是实时进行，因此不需要保存广告 库，因而也不需要广告检索流程，排序过程也非常简单。广告交易平台中需要注意的产品 策略，主要是如何解决给多个 DSP 发广告请求带来的带宽和机器成本的上升。这一问题， 我们称为询价优化(call out optimization)。ADX 一般为 CPM 结算方式。

需求方平台

与 ADX 相对应，以 RTB 方式购买广告的产品形态就是需求方平台，即 DSP。这一产 品的核心特征有两个:一个是 RTB 方式的流量购买，另一个是需要支持需求方定制化的用户划分。这两个核心特征其实是同一问题的两个方面:为了能够按需求方定制化的用户划分采买广告，需要市场开放竞价接口;而如果仅仅根据供给方定义的用户划分来采买，那 么像广告网络那样的非实时竞价就够了。

产品策略：

DSP 的广告决策过程与广告网络非常相似，同样先要经过检索、排序、定价几个阶段，主要的差别是完成广告选择后，又增加了出价的步骤。

DSP 与广告网络另一个不同的产品策略问题体现在受众定向的方式上。在广告网络中，主流的定向方式都是根据第二方数据加工的标签;但是在 DSP 中，以第一方数据为核心， 结合第二方或第三方数据的定制化标签，即 t(a，u)的定向方式，是其关注的重点。在 各种定制化标签中，重定向和 look-alike(新客推荐)的方法具有一定的普适性，是 DSP 需要特别重视的产品策略。

出价策略：
DSP 直觉的出价策略比较简单:只要 eCPM 估计足够精准，并按照此值出价即可。由 于 ADX 一般也是按照 GSP 来计费，这样的策略是可以确保有利润空间的。如果没有预算 的限制，那么这样的出价策略就是最优策略了。
DSP 优化的出价策略可以定性地描述为:首先，通过历史的观察和预测得到市价的曲线;然后，将一天的预算分配到那些市价较低的流量上。当然，实际情 况要更加复杂，因为 eCPM 也会随着时间而变化，于是我们希望获得的并不是市价较低的流量，而是 eCPM 与市价的比例较大的流量。因此，DSP 的出价策略要基于两条曲线，即 eCPM 和市价随时间变化的曲线。

重定向：
重定向是在线广告中最早产生，也最广泛使用的一种定制化标签。它的概念很简单，即把那些曾经对广告主服务发生明确兴趣的用户找出来，向他们投放该广告主的广告。

新客推荐：
由广告主根据自己的第一方数据提供一部分种子用户，再由拥有更丰富数据的第二方数据的广告平台分析这些用户网络行为的特征，并根据这些特征找到具有相似特征的拓展人群。很显然，这也是一种定制化用户标签。这样的标签加工策略称为新客推荐，即 look-alike。

供给方平台

当广告请求到达时，首先检查优先销售的订单有无需求，这包括CPT 和 CPM 的合约。如果有需求， 按照优先级和在线分配的方案完成投放;如果没有这类销售合约，则进入竞价流程。竞价时，从自运营广告主库中找出 eCPM 较高的，并估算可供调用的若干广告网络的 eCPM， 在这两者之间找到较高的广告候选，再以此作为 MRP，通过 RTB 接口向接入的各 DSP 实 时询价。可以看出，在这样的逻辑中，广告请求是被分配到自运营广告库，还是其他广告网络，或者是 DSP，是根据他们的收益在线动态决定的，这样的方案称为动态分配(dynamic allocation)。对应的产品形态就叫作供给方平台(Supply Side Platform，SSP)。

平台策略：

有如下五个步骤：

1. 从自有广告库中根据当前受众标签检索合适的广告候选，并估计每个广告候选 的 eCPM。
2. 排序得到 eCPM 最高的广告候选以及相应的 eCPM 值 rMAX。
3. 同样根据环境信息和受众标签估算出各个合作的广告网络大致的 eCPM。
4. 排序得到 eCPM 最高的广告网络以及相应的 eCPM 值
5. 以为底价，通过 RTB 接口向各个合作的 DSP 查询更高变现价值的广告。

数据加工与交易

要提高定向的精准程度与人群覆盖率，技术远不是唯一重 要的因素。那么什么才是决定性的呢?是数据的来源与质量。这是正确认识精准广告业务 非常重要的观点。

数据分类：

• 用户标识。对广告而言，如何确定哪些行为来自于同一个用户是非常关键的问题。对于浏览器行为，我们最常使用的用户标识是 cookie。在移动互联的情形下，iOS 与 Android 在应用内广告使用的用户 ID 有所不同:前者是 苹果公司设计的广告专用用户标识符(Identifier for Advertising，IDFA)，其性质与 cookie 类似;而后者没有专门的广告用户 ID，一般采用 Android ID 或 IMEI(international mobile equipment identity)号等标识信息。
• 用户行为。界通常认为，转化(conversion)、预转化(pre-conversion)、 搜索广告点击(sponsored search click)、展示广告点击(ad click)、搜索点击(search click)、 搜索(search)、分享(share)、页面浏览(page view)、广告浏览(ad view)等在线 行为是可以被广泛采集并且对于受众定向或广告决策有明确作用。按照对效果广告的有效 性分类，这些行为可以分为决策行为、主动行为、半主动行为和被动行为。主动行为主要包括广告点击、搜索和搜索点击。半主动行为主要包括分享和网页浏览。被动行为主要是指广告浏览。
• 人口属性。包括性别、年龄。
• 地理位置。地理位置信息随着能获得的精度不同其用途也会有相当大的差异。一般的获取方式有IP、GPS和蜂窝。高精度的位置就使得 hyper-local 的区域广告商投放定向广告成为可能。这样的广告定向，对于餐饮等受地理位置限制极大的线下业务广告商是非常有价值的，例如美团本地生活。
• 社交关系。社交网络上的关系反映了人与人之间的联系，也隐含了一种联系人之间“兴趣相似”的合理推测。

三方数据划分：
广告中用到的用户数据，根据其来源的不同可以分为第一方数据、第二方数据和第三方数据。一般我们说的第一方和第二方分别是指广告主和广告平台，不直接参与广告交易的其他数据提供方统称为第三方。

数据管理平台：
第一方数据的收集和加工是广告市场上非常重要的环节。不过对于没有这方面技术积 累的广告主而言，专门设团队进行数据加工是没有必要的。市场上也产生了专从事 此业务的产品，称为数据管理平台即 DMP。DMP 有下面几个核心的产品功能：

1. 它可以为网站(可以是媒体也可以是广告主网站)提供受众定向功能，并将得 到的用户标签应用于网站业务。
2. 如果媒体网站授权，DMP 可以提供接口对加工出来的用户标签进行变现，并与 网站进行分成。
3. 广告主网站可以通过 DMP 与广告采买渠道进行更方便的数据对接。

数据交易平台：
数据交易平台(data exchange)的主要产品功能是聚合各种来源的在线的用户行为数 据，加工成有价值的用户标签，然后在广告市场上通过售卖这些标签来变现。

在线广告产品交互关系

从媒体角度来看，有以下三种产品可以帮助其变现流量。

1. 可以将广告位托管给广告网络，由广告网络决策广告投放，从赚取分成。
2. 可以将广告位对接到广告交易平台，以实时竞价的方式变现。
3. 也可以将广告位托管给 SSP，这样可以同时对接多个广告网络和 PMP 接口， 并按照动态分配的逻辑选择变现最高的需求方。

移动互联与原生广告

目前的广告交易体系越来越倾向于直接使用第一方数据和第三方数 据作指导，在独立的交易环境中完成投放，而广告与媒体内容的关系则在一定程度上被边 缘化了。应该说，这并不是一个好的趋势，与内容基本独立的广告交易必然会在效果和用 户体验方面碰到天花板。

原生广告没有一个清晰的定义。实际上，从软文、搜索广告到社交网络中的信息流广告都有一些原生广告的意味，但也都只反映了原生广告的一个 侧面。应该说所有将商业化内容与非商业化内容统一生产或混合排序的产品都可以认为与原生广告有关系，这样的产品方向经常被称为内容即广告(content as ad)。
原生广告得到充分的重视是在移动互联网时代到来以后。这是因为在 屏幕较小的移动设备环境下，独立地展示和运营广告与内容遇到了巨大的挑战。于是，业界开始探讨将原生广告部分代替一般展示广告，提高移动环境下广告的变现能力。

相关产品

1. 信息流广告：信息流广告起源于社交网络。例如微博、qq空间的信息流中插入的广告。后来信息流广告也出现来非社交媒体上，例如头条。这些适合于信息流广告的媒体都有一个共同特点，即信息流中的各条内容相关性并不强。在这种情形下，插入一条商业化内容在形式上不会显得太突兀，用户体验也会较好。在一些垂直媒体的信息流中提供广告，则需要考虑上下文的影响，以达到原生的目的。实 际上，在社交网站上投放信息流广告时，如果考虑与周围内容的相关性也会提升一些效果。
2. 搜索广告：搜索广告的展示形式与自然搜索结果基本一致，也可以看成是存在于同一个信息流当 中。因此，它的高变现能力也部分地源于这种类原生的产品形式。搜索广告与内容的混合方式有两种，一种是将广告在固定的位置上展现，另一种是将 广告与内容混合排列在一起。
3. 软文广告：在这种广告类型中，内容本身就是为了委婉地宣传某种产品而生产的。很多网站的内 容营销实际上指的就是这种软文广告。这种方式也从一个独特的角度体现了“原生”的意义: 较高质量的软文往往让读者可以像接受普通文章一样接受其内容，因而宣传效果也会比较好。
4. 联盟：在前面介绍广告网络时，我们提到了一种联盟(affiliate)模式，即由媒体从广告库中 自由选择要推广的对象，并按照自己控制的展现方式进行推广。虽然说这是比较原始的广 告产品形式，但也对原生的思路有一定启发:只有给媒体一定的选择广告的权限，才能比 较容易地做到广告与内容在主题上的和谐，也才会产生像淘宝客那样可以将广告自由地嵌 入博客和各种网站。

移动广告的现状与挑战

特点：

1. 情境广告的可能性。移动设备与 PC 最大的不同是可 以对用户行为模式进行全天候的监测和分析。移动设备的特点是一直跟用户在一起，并且从地理位置、生活状态、需求意图等各方面都能对用户有深入的理解。因此，在移动环境 下，受众定向完全有可能做到从情境和意图出发，而不是仅仅根据兴趣推送商品。
2. 大量潜在的本地化广告主。而在移动环境下，GPS、蜂窝、Wi-Fi 等多种精确定位的手段使得基于精确地理位置 的本地化广告变得可行。当然，精确地理位置也需要结合移动特点，用情境化的方式来使用。

创意形式：

• 横幅与插屏：是移动应用中产生比较早的广告创意形式，也是直接从 PC 广 告的形式传承下来的。虽然形式上类似，但在移动广告中，横幅这种形式会有一定的问题。 首先，移动横幅广告的点击率远远高于 PC 横幅广告，经常会达到 2%~3%，当然其中有 很大比例是误点击。ps.目前看是比较少的了。
• 开屏与锁屏:开屏可以说是移动广告形式比较好的探索之一，因为用户在等待应用打开时还没有明确的任务，因此不会对广告很反感。另外，全屏的展示形式让这种广告的品牌价值较高，因此在实际售卖时往往以合约方式为主.
• 推荐墙与积分墙:由于移动设备中应用生态体系的存在，尚有相当比例的移动广告预算是以推广应用下 载为目标的。因此，也产生了一些专门针对此类推广需求的广告形式。最直接的下载类广 告形式是推荐墙(offer wall)。实践中更常见的是一种叫“积分墙”的产品。积分墙同样是向用户推送应用下载类广告， 不同的是在用户下载并激活该应用后会得到一定的积分。这些积分往往可以兑换游戏币、 电话卡等虚拟物品，以此刺激用户的下载行为。

挑战：

• 应用生态造成的行为数据割裂。应用与 Web 相比，虽然在用户体验的流畅性、功能丰富性方面有一定的优势，但也带 来了对商业产品的挑战:各应用之间相对独立，没有 Web 环境下超链接那样的组织体系， 因此数据的来源也相对割裂，整合起来比较困难。虽然理论上说，移动环境对用户的了解 更加深入，但实际操作中数据的获取更加困难。Web 生态下常用的数据交换接口，如 JavaScript 跟踪代码之类，在应用生态中需要用更加复杂的 SDK 来解决，可行性往往大打 折扣。
• 许多 PC 时代广告主移动化程度还不够，无法充分消化广告带来的流量。虽然原 理上讲，将一个 PC 的广告投放迁移到移动上非常简单，但在实际操作中会遇到后续转化 流程上巨大的麻烦。
• 移动广告的产品形态需要一次革命。上面谈到的传统横幅广告在移动环境下遇 到的问题，实际上反映了产品形态的深层次问题。在传统的在线广告产品形态中，广告位 总是和内容放在不同的单元中，以相对独立的产品运营。但到了移动环境下，由于屏幕的 尺寸减小了很多，如果被广告位再占据一块空间，那么变现与用户体验的矛盾就显得非常突出了。只有原生化才是移动广告的未来。

原生广告平台

比较理想的原生广告平台应该能兼顾表现原生和意图原生的要求，并且仍然可以以第三方平台的形式规模化地运营，而这样的设想在移动广告的推动下也已经形成了一定的产品趋势。

植入式原生广告：
广告平台提供的是结构化的付费内容。由于媒体控制广告展示，广告平台返回的就不能是成型的图片或文字链创意，而必须是一些结构化的信息作为媒体拼装创意的素材。因此，原生广告平台的广告库的结构不是简单的广告投放和创意信息，而是各行业结构化的付费内容，这一点将会显著改变广告业态的结构。如果按照上面的逻辑来设计和运营一个原生广告平台，实际上可以称为一个“植入式广 告”的投放系统，这样的系统逻辑是在内容的行文中自然地植入付费信息。

原生广告与程序化交易

关键问题就是原生广告的触发是否根据用户意图进行。在明确提供用户意图 的原生广告中，完全开放地进行 RTB，很难控制付费结果的相关性。采用单个技术能力较强原生广告网络(也可以自营) 的方式比较可行。而如果是像社交网络信息流这样的原生广告环境，由于用户意图并不明 确，也不要求广告依此触发，完全可以考虑用程序化交易的方式来运营，而且我们认为这 也是原生广告未来的发展趋势之一。

计算广告技术概览

有很多大数据驱动的产品，就其技术架构而言往往都落地成个性化系统，即根据用户、 上下文的一些信息动态决定返回什么内容的系统。计算广告也是一个典型的个性化系统。 不过由于复杂的市场交易结构、多样的数据来源以及预算带来的约束，计算广告是目前工 业界遇到的个性化系统中比较复杂的，也是相对成熟的。
个性化系统与搜索系统都是互联网时代具有挑战性的大规模计算问题。由于数据规模的要求，它们一般都采用检索(retrieval)加排序(ranking)这样类搜索的系统架构，因 而这两种系统有非常多的相似之处。个性化系统与搜索系统的主要差别在于大量的用户特征的使用。

个性化系统框架

大多数以大数据为核心驱动力的产品往往都需要一个这样的个性化系统，而不同产品的个性化系统之间存在着许多共同点。一般的个性化系统由四个主体部分构成:用于实时响应请求，完成决策的在线投放(online serving)引擎;离线的分布式计算(distributed computing)数据处理平台;用于在线实时反馈的流计算(stream computing)平台;连接和转运以上三部 分数据流的数据高速公路(data highway)。这几部分互相配合，完成个性化系统的数据 挖掘和在线决策任务。

这几部分的协作流程是:
在线投放系统的日志接入数据高速公路，再由数据高速公路快速转运到离线数据处理平台和在线流计算平台;离线数据处理平台周期性地以批处理方式加工过去一段时间的数据，得到人群标签和其他模型参数，存放在高速缓存中，供在线投放系统决策时使用;与此相对应，在线流计算平台则负责处理最近一小段时间的数据，得到准实时的用户标签和其他模型参数，也存放在高速缓存中，供在线投放系统决策时使用，这些是对离线处理结果的及时补充和调整。

广告系统优化目标

广告系统的优化目标是提高广告产品的利润。

任何一个具体的计算广告系统，都是为了优化上面的目标而设计的。对应于上一节的 个性化系统一般框架，在广告系统中，每次展示的 r 是由在线的投放引擎来决策的，而离 线数据处理平台和流计算平台所做的都是为了准备 ai，ui，ci 这三个变量或其组合的一些 特征。
不同广告产品的参数不同：

计算广告系统的架构

一般来说，广告系统的投放引擎采用类搜索的架构，即检索加排序的两阶段决策过程。另外，广告投放引擎还有一个独特模
块，就是要从全局优化的角度对整体收益进行管理。广告投放引擎主要有以下几个模块。

1. 广告投放机(ad server)。这是接受广告前端 Web 服务器发来的请求，完成广告投放决策并返回最后页面片段的主逻辑。广告投放机的主要任务是与其他各个功能模块 打交道，并将它们串联起来完成在线广告投放决策。我们 都采用类搜索的投放机架构，即先通过倒排索引从大量的广告候选中得到少量符合条件的 或相关的候选，再在这个小的候选集上应用复杂而精确的排序方法找到综合收益最高的若 干个广告。
2. 广告检索(ad retrieval)。这部分的主要功能在线时根据用户标签(user attributes) 与页面标签(page attributes)从广告索引(ad index)中查找符合条件的广告候选。广告检索得到的候选将被送入广告排序模块。
3. 广告排序(ad ranking)。这部分是在线高效地计算广告的 eCPM，并进行排序 的模块。eCPM 的计算主要依赖于点击率估计，这需要用到离线计算得到的 CTR 模型和特 征(CTR Model&Features)，有时还会用到流计算得到的实时点击率特征(real-time features)。在需要估计点击价值的广告产品(如按效果结算的 DSP)中，还需要一个点击 价值估计的模型。
4. 收益管理(yield management)。我们用这部分来统一代表在各种广告系统中将 局部广告排序的结果进一步调整，以全局收益最优为目的做调整的功能，如 GD 系统中的 在线分配、DSP 中的出价策略等。这部分一般都需要用到离线计算好的某种分配计划来完 成在线时的决策。
5. 广告请求接口。实际系统中，根据前端接口形式的不同，广告请求可能来自于 基于 HTTP 的 Web 服务器，也可能来自于移动 App 内的 SDK，或者其他类型的 API 接 口。
6. 定制化用户划分(customized audience segmentation)。由于广告是媒体替广 告主完成用户接触，那么有时需要根据广告主的逻辑来划分用户群，这部分也是具有鲜明 广告特色的模块。这个部分指的是从广告主处收集用户信息的产品接口，而收集到的数据 如果需要较复杂的加工，也将经过数据高速公路导入受众定向模块来完成。

在线数据处理：
在线数据处理基本上可以认为是离线数据处理的镜像功能，它是为了满足广告系统对实时数据反馈的要求，解决那些离线分布式计算平台无法快速响应的计算问题。为了组织下面一些在线时前后有依赖关系的数据流加工过程，我们经常选用流式管理平台作为基础设施。主要包括模块：

• 在线反作弊(anti-spam)。实时判断流量来源中是否有作弊流量，并且将这部 分流量从后续的计价和统计中去除掉。
• 计费(billing)。这部分同样是计算广告关键的业务功能之一。对于那些经过扣 费预算耗尽的广告，系统必须马上通知广告索引系统将其下线。
• 在线行为反馈，包括实时受众定向(real-time targeting)和实时点击反馈(realtime click feedback)等部分。这部分是将短时内发生的用户行为和广告日志及时地加工成实时 用户标签以及实时的点击率模型特征。
• 实时索引(real-time indexing)。这部分的主要功能是实时接受广告投放数据， 建立倒排索引。

计算广告系统主要技术

算法优化的角度看，主要有下面的一些问题，解决这些问题需要广泛用到机器学习、 数据挖掘等一些相关学科的技术。

• 即对(a，u，c)打标签以方便后续建模和市场售卖的 问题，是计算广告中非常核心的受众定向问题。
• 如果不考虑全局最优，计算广告系统主要靠 eCPM 估计，特别是点击率预测来完成每一次展示时的局部优化。
• 如果考虑到量的约束和投放时即时决策的要求，则产生了在线分配的问题。
• 为了在多方博弈的市场中达到动态平衡时的收益最大化，则需要对市场的机制 设计(mechanism design)深入研究，进而确定合理的定价策略。
• 为了更全面地采样整个(a，u，c)的空间以便更准确地估计点击率，需要用到 强化学习(reinforcement learning)中的探索与利用(explore and exploit，E&E)。
• 在实时竞价快速发展的今天，个性化推荐(personalized recommendation)技 术也被广泛使用在效果类 DSP 的个性化重定向中。

系统架构的角度看，大规模广告决策和投放有如下一些特点:首先是服务压力大， 这是由于广告的投放量往往数倍于页面浏览的 PV，这使得广告成为互联网流量规模最大的 产品之一;其次，因为用户对广告产品接受是被动的，广告展现延迟的增加往往会带来广 告效果的显著下降，因此广告系统的决策延迟是非常关键的指标;从另一方面看，也正因 为广告是被动的用户产品，其决策结果的逻辑性不直接，因此广告系统在用户标签的数据 一致性方面要求是比较低的，也往往并不需要持久化的存储，这为系统设计提供了一定的 灵活性。

计算广告在系统架构方面涉及以下一些技术问题。

1. 由于广告主的预算、定向条件等信息在设置后需要快速在线上生效，需要用实 时索引技术服务于广告候选的检索。
2. 需要用 NoSQL 数据库为投放时提供用户、上下文标签和其他特征。
3. 广泛使用 Hadoop 这样的 MapReduce 分布式计算平台进行大规模数据挖掘和建 模，也用到流计算平台实现短时用户行为和点击反馈。
4. 在广告交易市场中实现高并发、快速响应的实时竞价接口，这是一项广告中用 到的独特技术。

利用开源工具搭建广告系统