基于spark用户画像的实时项目【第一天】

互联网广告的行业介绍

互联网广告得分类

从广告形式上来看，互联网广告分为：搜索广告、展示类广告、
分类广告、引导广告、电子邮件广告等五大类。

互联网广告表现形式

1）Banner
Banner指横幅广告，一般在APP界面的顶部或者底部出现，有静态图、GIF图、文字链、多帧滚动动画图
计费方式一般为CPC(每点击成本)结算为主
2）公告
在电商类或者社交类的APP首页，京东快报就是公告，不断滚动播放
3）插屏
插屏广告在游戏类或者视频类APP较为常见，比如游戏当中暂停突然弹出来的广告（很烦人），一般都是精准推广‘’
4）全屏
全屏广告几乎每个APP都有。当用户打开APP时，以全屏的方式出现3秒钟，广告费用较高，主要以CPM(千人展示成本)计费方式
5）富媒体广告
富媒体广告相对于图片类而言的，具有动画、声音、视频或交互式信息传播方式，比较炫酷，对广告主来说可以更好的展示产品。
6）信息流广告
信息流广告，尝尝在timeline上和正常的信息混在一起，不容易识别，比如微博、朋友圈，今日头条等
7）积分墙
积分墙常见在一些游戏APP中，通过给与玩家免费的游戏币，来激励玩家下载别的APP
8）移动视频广告
在爱奇艺等移动视频平台，常见广告形式是两种：贴片和角标
1）贴片：非会员，视频开始之前会有一小段精准推送的短视频广告
2）角标：以透明的形式出现在视频破防窗口旁边的广告形式。加标允许用户关闭。
9）原生广告
广告内容话就是原生广告，比如综艺节目中的时不时带一句广告，电视剧中无意中出现的广告
10）竞价排名
竞价排名一般按CPC(每点击成本)进行付费，百度和淘宝的搜索结果

常用计费方式

CPA(Cost Per Action) 每行动成本

CPS(Cost Per Sales)每销售成本

CPT(Cost Per Time) 每时间段成本

CPC(Cost Per Click) 每点击成本

行业常用概念

Ad Network :广告网络。聚合多种展示类广告网站媒体资源

Ad Exchange (ADX:广告交易平台)：集结不同的广告网络及网站以整合得出的技术平台，旨在促进广告及网站主以竞价方式进行的媒体购买。

RTB(Real time bidding) :实时竞价是在每一个广告展位曝光的基础上进行竞价，谁出价高，谁的广告就可以取得该次曝光。实时竞价通过第三方技术在数以万计的网站或移动端针对每一个用户展示行为进行评估以及出价的竞价技术。针对有意义的用户进行购买

DSP(Demang-Side Platform) :需求方平台，DSP是一个系统，服务于广告主，帮助广告主在互联网或者移动互联网进行广告投放，DSP可以使广告主更简单便捷的遵循统一的竞价和反馈方式。

DSP拥有两个核心特征：一是拥有强大的RTB的基础设施和能力，二是拥有先进的用户定向的技术

SSP(Supply side planform):供应方平台。针对网站主的服务供应商，SSP协助网站主将其广告资源加入广告交易平台，并透过数据化方式管理其广告资源，提升网站主从广告交易平台中获取收益

DMP(Data management platform):数据管理平台，把分散的数据进行整合纳入统一的技术平台，标签化，细致化管理，为dsp提供数据支持，使DSP获得更好的投放效果

技术架构图

技术架构描述：DSP和ADX两个平台的数据对接到广告投放引擎中，通过NFS(网络文件系统)将广告引擎中的数据共享，并由flume采集数据，采集到的数据对接到hdfs中（源数据），spark获取hdfs的源数据进行ETL,然后将清洗好的数据再次发送给hdfs中，此时hdfs中的数据可以和Hbase对接，也可以由spark发送到redis存储，也可以和ElasticSeach对接，然后前端可以从es和redis取数据展示。

业务流程

业务流程介绍：当用户比如说打开一个视频APP，找了一个电影点进去了，里面会隐藏一个广告位(这时候广告还没出现)，到底演示什么广告，需要先分析你是什么用户，视频APP开始请求，里面携带着userID(有可能是设备id,设备入网id码)，将userID发送给DSP(需求方平台)，DSPj接收到了userID,会被RTB接收到userID，接收到userID之后会找这个userID对应的用户标签，用户标签已经有DMP系统提前生成存放在Hbase或者ElasticSeach,RTB只需要去这两个地方拿标签就可以，拿到标签之后就可以知道知道这个用户是一个什么样的行为，什么年龄，性别，经过计算给你推荐一个产品，推荐的商品很多，广告位就一个，这就用到商品竞价了，比对谁出的价钱更高；广告主维护的广告信息、素材是离线的，之前就维护好的，维护的广告素材放到广告素材库，直接和ADX对接；广告信息库维护的是视频URL,传输给url,从广告素材库拿去广告信息，然后就推送给广告位，这中间的过程很短，是个实时过程。

项目分析的业务模型

报表（展示量、点击量、点击率、参与竞价数、竞价成功数、消费数）
终端设备分析（运营商、联网方式、操作系统、客户端）
渠道分析
媒体分析
同意用户识别
数据标签化
用户上下文标签合并