数据产品-广告投放数据打通

 

一、广告数据平台数据打通说明

 1.背景说明

• 新业务的崛起，核心是对增量市场的争夺和存量市场的精细化运营。渠道的广告投放和人群的品宣传播为增量获客最为直接且有效的方式，而渠道也是烧钱的大头
• 为让我们的广告投放更具策略化，我们需要洞察到在每个广告平台上，所创建的每一个广告的数据情况，当然不当当止于广告平台所呈现的广告的曝光、点击、消耗等这些数据，需要做到和内部业务数据的打通，才能知晓实际我们广告所定向的人群设置和策略设置是否有误，是否能够真正带量，以及带来的人群是否为我们业务所定义的目标人群，才能实现投放策略的及时调整，做到“花最少的钱，带来价值量最高的用户，而非带来最多的用户”

2.打通流程

• 广告平台侧：广告平台承载的是广告主对投放广告的设置，包括：投放内容、定向人群、成本控制等动作，对应所投放出去的广告的数据表现情况。我们所需获取的是，对应广告的设置，以及对应其数据表现情况
• 内部业务侧：内部业务承载的是通过广告投放所带来的用户的承接，并通过一系列的业务动作，将用户转化成付费用户的过程。我们所获取的是广告带来的用户的业务执行情况，比如：是否有效-分发情况-约课情况-到课情况-转化情况
• 转化归因连接：对于大多数的投放，广告平台侧和内部业务侧的数据是隔离的，会存在问题。比如：在广告平台我们可能知道某一广告带量特别好，无法知道到内部业务时，这些用户的价值如何，因此可能存在广告带量能力强，待高价值用户能力弱，结果误导投手的投放策略。因此，做广告平台和内务业务侧打通最核心的，就是如何将内部的每一个用户，和广告平台的广告层级信息做好关联。也就是我们后面在打通每个广告平台都会优先做的事情：做广告归因接口，包括转化数据回传广告平台（让广告平台知道哪些广告实现转化，实现广告平台的推荐优化）和广告转化归因关联（让内部业务侧知道转化的用户，是通过哪个广告主ID-广告计划ID-广告ID-关键词等转化）

 

3.打通平台

• 打通说明：一般投放不会只投于一个广告平台，正所谓鸡蛋不能放同一个篮子里，同步国内、国外的投放平台页存在。广告平台众多，为此主要打通的还是实际带量能力强，核心的投放广告平台
• 打通方式：本次的数据打通主要遇到三种打通情况，对应会需要采用不同的打通方式
•                  ① 国内的投放平台：提供完善的广告API服务，能够直接通过接口方式，获取广告基础信息数据、广告统计消耗数据、转化归因数据。因此通过接口直接进行数据调取，并实现和内部打通，比如：腾讯广告、百度广告、巨量引擎
•                  ② 国内的投放平台：未提供完善的广告API服务，通过爬虫的方式，定时爬取广告的基础数据、广告统计消耗数据，并通过投放链接的特征近似进行归因打通（这种方式的前提：链接具有规律性，并且有能够和内部转化数据进行唯一映射的特征），比如：支付宝
•                  ③ 海外的投放平台：有API服务，但不提供转化归因接口，典型的就是谷歌和Facebook，暂时未能找到能够通过特征进行归因的方式

4.产研合作

• 说明：广告平台数据的打通，一般会涉及几个角色：广告投放的投手（负责实际广告的投放，确定数据关注点）、数据产品（负责需求的输出和最终数据的打通）、开发（需求的实际实现）、测试（数据的校验和接口稳定性的保证）

角色	核心动作
投手	投手在设置好广告计划的时候，需要确认即将投放的链接在对应的平台已经实现好了回传，并对投出去后效果负责。同时需要数据产品确定需要接回的内容 投手没有信心独立确认的情况下，向产品同学确认；产品同学没有信心确认的情况下，产品同学向测试同学确认；测试同学没有信心的情况下，测试同学向开发同学确认
数据产品	在出投放归因需求的时候，需要说明投放页面需要具备的回传实现：广告平台，回传时机、回传指标、渠道代号与广告账户关联的方式 对于投放的打通，需要确定要需要接回的内容，梳理好对应的接口文档，以及对应需要接回的数据内容 需要和投手确定全部广告平台对应的全部投放账号，避免数据的缺失 打通报表的构建：需要和投手进行沟通确定，保证打通呈现形式能够帮助到投放
测试	投放类需求评审时，需要向产品确认投放页面需要具备的回传实现：广告平台，回传时机、回传指标、渠道代号与广告账户关联的方式 测试时，将回传当作需求功能特性的一个方面，需要保证完整正确，最为关键是要保证广告平台归因数据能够和内部统计的渠道、或账号、或广告平台的统计数据对上，具体的验证SQL逻辑可以和数据产品拿
开发	投放类需求评审时，需要向产品确认投放页面需要具备的回传实现：广告平台，回传时机、回传指标、渠道代号与广告账户关联的方式 提测时，将回传当作需求功能特性的一个方面，需要保证完整正确。

二、广告数据平台打通实现说明

1.广告平台实现描述

广告平台	广告层级说明	广告平台链接说明	数据获取说明	转化归因实现描述	打通注意点
支付宝	广告主-广告计划-广告单元-广告创意	广告平台链接：https://adpub.alipay.com/home API服务链接：https://opendocs.alipay.com/apis/ap i_1/alipay.data.dataservice.ad.data.query?scene=common 转化归因接口：https://opendocs.alipay.com/apis/01ko5r	获取方式：支付宝的接口暂未对外开放，获取数据还是需要通过爬虫方式 获取内容：各广告层级的广告平台统计数据 时间周期：T+1定时增量调取	暂无	支付宝是通过爬虫方式获取数据，需要登录账号获取cookie，会出现cookie过期导致数据没有及时爬取下来，造成广告报表数据缺失的情况，导致投手没能及时查看打通数据情况 支付宝新增的账户需要人工去追踪和维护，存在滞后和遗漏的情况，导致部分投放账号数据缺失
广点通	广告主-推广计划-广告-广告创意	广告平台链接：https://ad.qq.com/atlas/9982482/index API服务链接：https://developers.e.qq.com/docs /api/insights/ad_insights/hourly_reports_get?version=1.3&_preview=1 转化归因接口：https://developers.e.qq.com/docs/api/insights/leads/ lead_clues_get?version=1.3&_preview=1	获取方式：通过广点通的API接口服务进行数据调取 获取内容：各广告层级的广告平台统计数据，以及对应转化归因的明细数据 时间周期：T+1定时增量调取	转化归因的时机说明：由于有些投放广告是用于引流，然后在进入购买页实现转化，需要对不同转化时机的开发不同的接口 广点通每新增一个广告账号，都需要去广告平台配置检测接口链接（比如网页、小程序接口等，都需要进入到每一个账号进行一一配置）	H5微信外：先填表后支付，填表的时候回传下单，支付的时候回传购买(付费)；免费填表的时候回传预约，同时触发回传购买(付费) H5微信内：填表后支付，填表的时候回传表单预约，支付的时候回传下单 微信小程序：先填表后支付，填表的时候回传表单预约，支付的时候回传下单
微信	广告主-推广计划-广告-广告创意	广告平台链接：https://a.weixin.qq.com/client API服务链接：微信的广告API已和广点通进行整合， 为同一套接口服务 转化归因接口：H5(https://ad.weixin.qq.com/guide/456) 、小程序(https://ad.weixin.qq.com/guide/2561)	获取方式：通过微信的API接口服务进行数据调取 获取内容：各广告层级的广告平台统计数据，以及对应转化归因的明细数据 时间周期：T+1定时增量调取	微信的转化归因时机：对于增粉和小程序，归因的时机存在不同。同时对于先支付后填表、先填表后支付也会存在不同的归因时机，需要和对应的研发和业务进行确认	直投是投放中目标直接明确的一种投放方式，表现为投放内容是某个链接，在用户接触到后直接打开，这样目的性较强，转化路径较短，可能多花钱节省时间人力。 相对迂回一点的投放方式是增粉，表现为投放的内容是公众号，用户关注公众号后成为粉丝，能有较长时间接触我们的消息文章内容，转化路径较长，可能转化率也较高。粉丝可以进一步做不同方向的转化
巨量引擎	广告主-广告组-广告计划-广告创意	广告平台链接：https://ad.oceanengine.com/p ages/index.html? API服务链接：https://ad.oceanengine.com/openapi/doc/in dex.html?id=1696710497745920 转化归因接口：https://ad.oceanengine.com/openapi/doc/index.html?id=1696710655781900	获取方式：通过巨量引擎的API接口服务进行数据调取 获取内容：各广告层级的广告平台统计数据，以及对应转化归因的明细数据 时间周期：T+1定时增量调取	注意区分小程序和H5落地页的转化归因时机	暂无
百度	搜索推广广告：广告账号-计划-单元-创意-关键词 信息流广告：广告账号-计划-单元-创意	广告平台链接：https://tuiguang.baidu.com API服务链接：https://dev2.baidu.com/content?sceneType=0&pageId=100054&nodeId=381&subhead= 转化归因接口：信息流(https://dev2.baidu.com/content?sceneType=0&pageId=100495&nodeId=435&subhead=) 、搜索(https://dev2.baidu.com/content?sceneType=0&pageId=100494&nodeId=461&subhead=)	获取方式：通过百度的API接口服务进行数据调取 获取内容：各广告层级的广告平台统计数据，以及对应转化归因的明细数据 时间周期：T+1定时增量调取	注意百度广告投放的搜索广告和信息流广告是完全区分的两套模式，需要分别做数据接回和数据打通	当网民点击广告，百度推广后台会自动在广告主落地页链接中增加bd_vid参数，通过该bd_vid标识该百度流量，网民每次点击对应的bd_vid参数值均不相同 判断该流量最终是否发生了所定义的转化行为（咨询、表单提交等） 通过API接口回传该百度流量（bd_vid）所对应的转化行为 百度接收到回传的转化数据后，可根据bd_vid参数追溯到网民某次具体点击所对应投放广告的具体计划、单元、创意等广告信息，利用大数据和机器学习技术来学习网民行为，预测哪些流量会提升广告转化，从而优化广告主后续流量，同步我们可以记录用户和广告平台的关系，实现归因
Facebook	广告主-广告系列-广告主-广告	广告平台链接：https://business.facebook.com/home/ accounts API服务链接：https://developers.facebook.com/docs/ marketing-api/reference/ad-account/insights/ 转化归因接口：https://developers.facebook.com/docs/ facebook-pixel/implementation/conversion-tracking	获取方式：通过Facebook的API接口服务进行数据调取 获取内容：各广告层级的广告平台统计数据 时间周期：T+1定时增量调取	FB现在的归因接口只能做到前端像素层面的回传，通知广告平台那些广告实现了用户的转化，但暂未找到用户和实际广告层级ID之间的关联关系	转化归因一般都是通过特定的字段，比如常见的点击click_id，广告层级ID和click_id在广告侧是有关联关系，在业务侧，用户与click_id也有对应的关系，因此可以进行归因打通 Facebook是通过像素pixel，但只告诉用户pixel和用户关系，不开放pixel与广告层级ID之前的关系，因此没法时间归因(若有知道实现这一块的打通，可以沟通一下)
谷歌	广告账号-广告系列-广告组-广告-关键词	广告平台链接：https://ads.google.com/home/t ools/manager-accounts/ API服务链接：https://developers.google.com/adwords/api/docs/ appendix/reports 转化归因接口：https://support.google.com/google-ads/answer/4677036	获取方式：通过谷歌的API接口服务进行数据调取 获取内容：各广告层级的广告平台统计数据，以及对应转化归因的明细数据 时间周期：T+1定时增量调取	暂无	谷歌的API服务调用需要进行邮件申请，对应需要上传认证材料给到谷歌API官方，待审核通过才可进行API调用，申请链接说明：https://console.cloud.google.com/apis/credentials/consent?project=hualala-adwords-api
其他广告平台（暂未实现打通）：小红书、APP应用市场（多种应用商）、网易、知乎、雅虎、tiktok、UC、快手、微博

2.广告平台打通说明

• 说明：通过广告平台的API服务或爬虫等其他形式，找到能够和内部用户进行关联的特征点，实现内部业务数据和广告平台数据的打通。
• 整体链路节点：广告平台较多，但整个广告链路的节点基本一样，从广告侧的曝光-点击-消耗-对应相关视频的浏览，再到内容业务侧的用户数-有效用户数-用户跟进-分发-约课-到课-转化，以及整体的核心维度，比如CTR、CVR、CPM、CPC、ROI、客单价、获客成本、有效用户成本等。整个打通链路的维度基本都一致，重点是下钻的层级维度不同，比如按广告不同层级进行下钻、按时间进行下钻、按投放成本、投放ROI、投放地区、定向人群特征等进行下钻。能够全面的洞察不同广告的实际全链路数据情况，投手能够精确知道每一个广告的实际情况，及时调整投放策略或成本控制，保证投放的最大价值化
• 回传方式说明：

•    ①api回传是前端接收回传参数后传给后端，再由后端回传给广告平台。它的优点是准确；不足是需要较多开发工作量，海外广告平台由于长城防火墙不能直接回传成功。目前这种方式对接的都是国内广告平台

•    ②js回传是前端页面配置js回传代码，从用户浏览器客户端直接回传给广告平台。它的优点是开发工作量少，海外用户从客户端回传不受防火墙影响。目前这种方式对接的广告平台是：谷歌、FB、雅虎、tiktok

• 举例说明：以广点通广告平台为例，通过上述的步骤进行数据打通，并构建全链路看板

 

三、广告数据平台打通总结

• 流程总结：在做广告平台数据打通时，优先建议和业务投手进行详细沟通，因为广告平台提供的数据维度非常多，真正做完打通之后会发现，其实很多维度的东西投手们都不会关注。因此，为保证数据的价值性，建议是在做任何广告平台数据打通时，优先确认什么维度的数据是有用的，对于投手做广告优化是有帮助的，对应才进行数据的接取和打通
• 需求总结：对于任何广告平台的打通，正如前面所描述的，最为重要的是转化归因的接口，或者归因特征的选择，如果不能实现这个，其他广告平台的数据对于投手来说，在广告数据平台DMP上也是可以看到的，对他们的投放策略调整是没有多大的洞察作用的。对此，后续若有其他相关的打通需求，建议优先让研发侧进行归因接口实现预调研，确定可以实现后再进行打通，保证需求的可实现性