广告流量分析之评价指标的选择(二)

接上文《广告流量分析之评价指标的选择(一)》今天我们聊聊ctr指标与oCPA指标。

 

案例二：CTR预估评价（分清指标所处的阶段）

做广告算法的同学应该都熟悉CTR预估的概念，计算广告预估曝光出去后被点击的概率。

 

在我们的系统中，有两个阶段存在CTR预估问题，粗排（LiteCTR）阶段、精排（pCTR）阶段。最近在分析流量的数据时，遇到一个现象: LiteCTR bias 与pCVR bias 相差不大，在某些时间甚至更好，就猜想既然LiteCTR和pCTR效果差不多，那在精排中用LiteCTR替换pCTR是不是流量收入应该不会有什么大的变化，然而去掉pCTR过程却可以省下很多计算资源。我就起了一个实验，精排中用LiteCTR替换pCTR。

 

实验结果大失所望。实验组的LiteCTR bias高达20%，而对照组用的pCTR bias还是原来的5%以内。

 

为啥会有这种差异？那是由于LiteCTR和pCTR的目标是不一样的。LiteCTR目标是为进入精排的100个广告进行ctr预估；而pCTR目标是为最终曝光1个广告进行ctr预估。在最开始我计算的LiteCTR bias和pCTR bias都是以曝光为目标计算的，因此在最开始我就把评价目标整错了，因此一开始的结论就是错误的。

 

案例三：oCPA效果评价（确定问题分析角度）

 

oCPA是一种为广告主提供的按转化出价，按点击收费的投放方式。它的评价指标：

 

广告达成率=广告的实际收入/（广告出价*广告转化数），值越接近1越好。

 

前段时间在做流量分析时，遇到了一个问题，在流量2上做了一个操作，让流量1上的部分广告主可以到流量2上进行投放，然后流量1的收入在下跌。从这个操作后，观察到一个现象流量1的CPC下降了，流量2的CPC上升了。（其他指标比较平稳，因此判断收入变化是CPC变化引发的）。

 

CPC=广告出价*pCVR。其中广告出价是定值，一天只修改1次；而pCVR(转化率预估）每个流量是不一样。因此CPC的这种差距很可能是来自pCVR的，对比流量1和流量2的pCVR, 流量2的pCVR Bias明显高于流量1。再看一下CPC的公式，广告出价不变，pCVR偏高，CPC自然偏高，因此出现了流量2 CPC增加的现象，从而导致收入的增加。而又因为oCPA目标是保证广告达成率，一个广告在流量2收入增加，自然流量1收入就要减少，来保证广告的达成率为1。其实这也是符合能量守恒定律的，在一个相对稳定的广告系统里面，流量既不会凭空产生，也不会凭空消失，它只会从一种形式转化为另一种形式，一些广告拿到了更多的量，另一些广告的量就会减少，而总的流量保持不变。

 

这里所反应的问题就是oCPA的关注目标（广告达成率）和我们在流量侧的关注目标（流量达成率）的差异。看问题角度不一样，大家的评价指标就会不同。

 

总结一下广告流量分析之评价指标的选择系列，在分析问题时，要首先明确问题评价指标，根据指标所处的阶段（粗排or精排）、分析角度（流量or广告主）等的不同，选择合适的评价指标。

 

欢迎大家关注计算广告那些事儿哈，除了原创文章之外，也会不定期和大家分享业内大牛的文章哈！