【Spark分布式内存计算框架——离线综合实战】1. 综合实战概述

离线综合实战

大数据营销是基于多平台的大量数据，依托大数据技术的基础上，应用于互联网广告行业的营销方式。大数据营销的核心在于让网络广告在合适的时间，通过合适的载体，以合适的方式，投给合适的人。大数据营销是精准营销的一种方式，日后是一种主流的广告模式方向，大数据营销的效果犹如现在搜索引擎营销，都是精准营销的模式。

大数据营销是未来广告行业发展的一个趋势，现在每个有名的平台都有大数据分析部门，不管是阿里，还是腾讯和百度，甚至央企的移动、联通，都有大数据部分进行精准的计算，因为每个人都有上网的习惯，上网留下的行为轨迹，通过浏览器就可以记录一个人的最近的想法。例如：张三最近登录看新闻 ，看车的新闻比较多，登录某些平台，肯定会推荐车的广告给张三。

第一章 综合实战概述

数据管理平台（Data Management Platform，简称DMP），能够为广告投放提供人群标签进行受众精准定向，并通过投放数据建立用户画像，进行人群标签的管理以及再投放。 各大互联网公司都有自己的DMP平台，用户广告精准投放营销，比如字节跳动产品今日头条、抖音短视频等主要是通过广告推广盈利，BAT公司DMP平台：

1、百度DMP智选：http://dmp.baidu.com/static/index.html
2、淘宝达摩盘（DMP营销平台）：https://dmp.taobao.com/
3、腾讯DMP：https://dmp.qq.com/
4、品友互动DMP：http://www.ipinyou.com.cn/dmp
5、微博广告DMP平台：https://tui.weibo.com/platform/dmp

1.1 需求概述

DMP日渐火爆源于广告主对投放效果的更高追求以及对营销浪费更低的容忍度，DMP即是为解决这些问题而生。广告主希望更精准的对目标人群进行广告投放，如果投放的对象对某些广告不感兴趣，却反复被广告轰炸只会适得其反。如果企业能够在投放广告或其他营销手段前就能对受众进行具体、精准的识别，广告投放的效果会因此增强。

DMP平台数据集生成的步骤如下：

第一步、收集数据

• 数据来自于以往的竞价记录和收集到的用户数据；竞价记录来自于以往的交易；用户数据有可能来自第三方, 也有可能是自己收集(可能性比较小)。
• 数据的来源分为三类：
  • 第一方数据：广告主自有用户数据，包括网站/APP监测数据、CRM数据、电商交易数据等。
  • 第二方数据：广告商在广告投放过程中积累的业务数据，如DSP平台业务中积累的受众浏览广告、点击广告等相关数据。
  • 第三方数据：非直接合作方拥有的数据，如运营商数据等。

第二步、合并多个数据源的数据

• 在进行针对 DMP 的数据分析时，需要用到用户的数据来判定用户的喜好，也需要竞价数据来判定价格是否合适，所以需要将这两部分数据合并起来，再进行数据处理和分析；

为了更加关注于业务数据分析处理及应用调度执行，将广告相关数据进行整合，最终为JSON格式数据，每条数据大概上百个字段。

1.2 数据调研

广告相关数据整合存储在JSON格式中，数据字段说明及格式如下所述：

1）、JSON数据格式，截取一部分

2）、数据字段含义

字段	解释
ip	设备的真实IP
sessionid	会话标识
advertisersid	广告主ID
adorderid	广告ID
adcreativeid	广告创意ID( >= 200000 : dsp , < 200000 oss)
adplatformproviderid	广告平台商ID(>= 100000: rtb , < 100000 : api )
sdkversionnumber	SDK版本号
adplatformkey	平台商key
putinmodeltype	针对广告主的投放模式,1：展示量投放 2：点击量投放
requestmode	数据请求方式（1:请求、2:展示、3:点击）
adprice	广告价格
adppprice	平台商价格
requestdate	请求时间,格式为：yyyy-m-dd hh:mm:ss
appid	应用id
appname	应用名称
uuid	设备唯一标识，比如imei或者androidid等
device	设备型号，如htc、iphone
client	设备类型 （1：android 2：ios 3：wp）
osversion	设备操作系统版本，如4.0
density	设备屏幕的密度 android的取值为0.75、1、1.5,ios的取值为：1、2
pw	设备屏幕宽度
ph	设备屏幕高度
provincename	设备所在省份名称
cityname	设备所在城市名称
ispid	运营商id
ispname	运营商名称
networkmannerid	联网方式id
networkmannername	联网方式名称
iseffective	有效标识（有效指可以正常计费的）(0：无效 1：有效)
isbilling	是否收费（0：未收费 1：已收费）
adspacetype	广告位类型（1：banner 2：插屏 3：全屏）
adspacetypename	广告位类型名称（banner、插屏、全屏）
devicetype	设备类型（1：手机 2：平板）
processnode	流程节点（1：请求量kpi 2：有效请求 3：广告请求）
apptype	应用类型id
district	设备所在县名称
paymode	针对平台商的支付模式，1：展示量投放(CPM) 2：点击量投放(CPC)
isbid	是否rtb
bidprice	rtb竞价价格
winprice	rtb竞价成功价格
iswin	是否竞价成功
cur	values:usd|rmb等
rate	汇率
cnywinprice	rtb竞价成功转换成人民币的价格
imei	手机串码
mac	手机MAC码
idfa	手机APP的广告码
openudid	苹果设备的识别码
androidid	安卓设备的识别码
rtbprovince	rtb 省
rtbcity	rtb 市
rtbdistrict	rtb 区
rtbstreet	rtb 街道
storeurl	app的市场下载地址
realip	真实ip
isqualityapp	优选标识
bidfloor	底价
aw	广告位的宽
ah	广告位的高
imeimd5	imei_md5
macmd5	mac_md5
idfamd5	idfa_md5
openudidmd5	openudid_md5
androididmd5	androidid_md5
imeisha1	imei_sha1
macsha1	mac_sha1
idfasha1	idfa_sha1
openudidsha1	openudid_sha1
androididsha1	androidid_sha1
uuidunknow	uuid_unknow UUID密文
userid	平台用户id
iptype	表示ip库类型，1为点媒ip库，2为广告协会的ip地理信息标准库，默认为1
initbidprice	初始出价
adpayment	转换后的广告消费（保留小数点后6位）
agentrate	代理商利润率
lomarkrate	代理利润率
adxrate	媒介利润率
title	标题
keywords	关键字
tagid	广告位标识(当视频流量时值为视频ID号)
callbackdate	回调时间 格式为:YYYY/mm/dd hh:mm:ss
channelid	频道ID
mediatype	媒体类型
email	用户email
tel	用户电话号码
sex	用户性别
age	用户年龄

上百个数据字段，有的字段没有值，有的字段的值需要进行转换处理，具体依据业务需要选择相应字段进行对应处理。