网址:
http://study.163.com/course/courseLearn.htm?courseId=321007#/learn/video?lessonId=435079&courseId=321007
4.1 位置拍卖理论
搜索广告:多个位置联合拍卖,可以一个不出
展示广告:单个位置,通常一定要出
对称纳什均衡:广告系统的设计目标
定价机制
VCG机制:收费应等于对别人带来的价值损害;truth-telling
Generalized Second Price:广义第二高价,不是truth-telling
第一高价
4.2 Ad Network
淡化广告位概念
计价方式为CPC
不支持定制化用户划分
4.3 广告检索
布尔表达式
DNF格式;conjunction;assignment
index:2层索引
长query,每个term都是should
有效剪枝算法:需要相关性函数是线性
WAND(weighted and)算法
4.4 流量预测
query为ad,对(u, c)联合空间做retrieval
SUM impression(c) * p(price_a - eCPM_c)
4.5 ZooKeeper介绍
分布式环境下解决一致性:消息传递机制
Paxos算法
Proposer(n, value):
Acceptor:一次任务只批准一个value
Learner:只获得被批准的提案
两段式提交
4.6 点击率预测
Regression vs Ranking
Cold start问题
Online learning
4.7 逻辑回归
Logistic Regression
Generalized Linear Model 在Binomial error时的特例
Maximum Entropy Model在class=2时的特例。ME=Logistic Disriminate Analysis?
优化方法
IIS
BFGS:Quasi-Newton的一种,模拟一个Hession矩阵
L-BFGS :limited memory, 对Hession矩阵的逆矩阵降维
ADMM分布式解法
4.8 动态特征
在组合维度上的历史统计值
5.1 探索与利用
Multi-arm Bandit(老虎机)
epsilion-greedy: 使用小流量做探索
UCB(upper confidence bound)策略
linUCB: contextual bandit,使用特征适量代替bound
5.2 搜索广告
特性
用户标签不重要,因为query太强
用户短时搜索行为比较重要
问题
Query expansion:
搜索日志,做cf
文档集合,做topic model
广告日志,按eCPM排序
搜索广告个性化
搜索结果不宜做深度个性化
广告内容个性化效果有限,但广告条数可以做个性化
短时用户行为
同一个session内的行为
需要分钟级别,甚至秒级别,需要流式计算平台
5.3 流式计算平台
S4 vs Strom
S4:全内存,吞吐量大,编程麻烦,可能丢数据
Strom:可能调度磁盘,编程接口类似hadoop,保证不遗漏
Strom
spout、bolt
类似map/reduce架构
调度数据,而不是调度计算
只适用处理实时数据,数据规模不能太大。(适合online learning?)
5.4 广告购买平台(Trading desk)
universal marketplace
非RTB流量的ROI优化
关键问题
例如SEM选词
展示广告的关键词组合
合理的出价
代表公司
EfficientFrontier
核心技术是Portfolio Optimization,和数据积累
被Adobe Omniture收购,改为Adobe Adlens
国外4A公司从广告商收取17.6%费用,国内只有从百度拿6%返点
6.1 广告交易市场
实时竞价通常按照CPM收费
Ad exchange代表公司
RightMedia, Google Adx, AdECN, OpenX
6.2 实时竞价
cookie mapping
ad call
对demand更有利,CTR的估计和点击的价值都交给deman来做
DMP的作用是提高精准性和市场流动性
6.3 Cookie Mapping
beacon(smart pixel):1x1或0x0的不可见像素
三个问题:谁发起?在哪儿发起?谁存储mapping表?
DSP-Demand site-Adx,存在DSP
DMP-Supply site,存在Supply
6.4 SSP
以优化媒体收益为目标
灵活接入和管理多种变现方式
Yield Optimizer:收入优化
代表公司:
Google AdMeld
6.5 DSP
支持定制化用户划分
跨媒体流量采购
代表公司
InviteMedia,MediaMath
6.6 DSP流量预测
难点:dsp只能拿到赢得的流量,不能获取全部流量
6.7 DSP点击价值估计
挑战
极为稀疏的训练数据
转化是与广告主类型密切相关
原则
用较大的bias换取较小的variance,达到稳健估计
利用广告商类型的层级结构特征,以及转化流程的特征
6.8 DSP重定向
site retargeting
search retargeting
personalized retargeting: off-site recommendation
推荐算法:SVD++的思想
代表公司
Magnetic:search retargeting
Criteo:站外推荐的个性化重定向
动态创意;广告主商品库的准实时feed接口;
采购媒体的优选CPM
不使用cross-site的数据:广告主的 数据安全 很重要,不能倒卖客户
Look-alike(新客推荐):利用种子用户;利用客户自定义标签
6.9 demand端推荐方法
站内推荐
站外个性化重定向
新客推荐
6.10 广告流量交易方式
优先销售Premium Sale:品牌溢价
CPT
GD:Ad Server
程序交易Programmatic Trade:偏向Demand的方向
Network optimization:Ad Network
Preferred(优选)
RTB:Ad Exchange
4.1 位置拍卖理论
搜索广告:多个位置联合拍卖,可以一个不出
展示广告:单个位置,通常一定要出
对称纳什均衡:广告系统的设计目标
定价机制
VCG机制:收费应等于对别人带来的价值损害;truth-telling
Generalized Second Price:广义第二高价,不是truth-telling
第一高价
4.2 Ad Network
淡化广告位概念
计价方式为CPC
不支持定制化用户划分
4.3 广告检索
布尔表达式
DNF格式;conjunction;assignment
index:2层索引
长query,每个term都是should
有效剪枝算法:需要相关性函数是线性
WAND(weighted and)算法
4.4 流量预测
query为ad,对(u, c)联合空间做retrieval
SUM impression(c) * p(price_a - eCPM_c)
4.5 ZooKeeper介绍
分布式环境下解决一致性:消息传递机制
Paxos算法
Proposer(n, value):
Acceptor:一次任务只批准一个value
Learner:只获得被批准的提案
两段式提交
4.6 点击率预测
Regression vs Ranking
Cold start问题
Online learning
4.7 逻辑回归
Logistic Regression
Generalized Linear Model 在Binomial error时的特例
Maximum Entropy Model在class=2时的特例。ME=Logistic Disriminate Analysis?
优化方法
IIS
BFGS:Quasi-Newton的一种,模拟一个Hession矩阵
L-BFGS :limited memory, 对Hession矩阵的逆矩阵降维
ADMM分布式解法
4.8 动态特征
在组合维度上的历史统计值
5.1 探索与利用
Multi-arm Bandit(老虎机)
epsilion-greedy: 使用小流量做探索
UCB(upper confidence bound)策略
linUCB: contextual bandit,使用特征适量代替bound
5.2 搜索广告
特性
用户标签不重要,因为query太强
用户短时搜索行为比较重要
问题
Query expansion:
搜索日志,做cf
文档集合,做topic model
广告日志,按eCPM排序
搜索广告个性化
搜索结果不宜做深度个性化
广告内容个性化效果有限,但广告条数可以做个性化
短时用户行为
同一个session内的行为
需要分钟级别,甚至秒级别,需要流式计算平台
5.3 流式计算平台
S4 vs Strom
S4:全内存,吞吐量大,编程麻烦,可能丢数据
Strom:可能调度磁盘,编程接口类似hadoop,保证不遗漏
Strom
spout、bolt
类似map/reduce架构
调度数据,而不是调度计算
只适用处理实时数据,数据规模不能太大。(适合online learning?)
5.4 广告购买平台(Trading desk)
universal marketplace
非RTB流量的ROI优化
关键问题
例如SEM选词
展示广告的关键词组合
合理的出价
代表公司
EfficientFrontier
核心技术是Portfolio Optimization,和数据积累
被Adobe Omniture收购,改为Adobe Adlens
国外4A公司从广告商收取17.6%费用,国内只有从百度拿6%返点
6.1 广告交易市场
实时竞价通常按照CPM收费
Ad exchange代表公司
RightMedia, Google Adx, AdECN, OpenX
6.2 实时竞价
cookie mapping
ad call
对demand更有利,CTR的估计和点击的价值都交给deman来做
DMP的作用是提高精准性和市场流动性
6.3 Cookie Mapping
beacon(smart pixel):1x1或0x0的不可见像素
三个问题:谁发起?在哪儿发起?谁存储mapping表?
DSP-Demand site-Adx,存在DSP
DMP-Supply site,存在Supply
6.4 SSP
以优化媒体收益为目标
灵活接入和管理多种变现方式
Yield Optimizer:收入优化
代表公司:
Google AdMeld
6.5 DSP
支持定制化用户划分
跨媒体流量采购
代表公司
InviteMedia,MediaMath
6.6 DSP流量预测
难点:dsp只能拿到赢得的流量,不能获取全部流量
6.7 DSP点击价值估计
挑战
极为稀疏的训练数据
转化是与广告主类型密切相关
原则
用较大的bias换取较小的variance,达到稳健估计
利用广告商类型的层级结构特征,以及转化流程的特征
6.8 DSP重定向
site retargeting
search retargeting
personalized retargeting: off-site recommendation
推荐算法:SVD++的思想
代表公司
Magnetic:search retargeting
Criteo:站外推荐的个性化重定向
动态创意;广告主商品库的准实时feed接口;
采购媒体的优选CPM
不使用cross-site的数据:广告主的 数据安全 很重要,不能倒卖客户
Look-alike(新客推荐):利用种子用户;利用客户自定义标签
6.9 demand端推荐方法
站内推荐
站外个性化重定向
新客推荐
6.10 广告流量交易方式
优先销售Premium Sale:品牌溢价
CPT
GD:Ad Server
程序交易Programmatic Trade:偏向Demand的方向
Network optimization:Ad Network
Preferred(优选)
RTB:Ad Exchange