在线广告的exploration/exploitation trade-off（勘探和开采问题）

刚刚在看ICML 2010的一篇关于搜索广告CTR预估的文章：

Web-Scale Bayesian Click-Through Rate Prediction for Sponsored Search Advertising in Microsoft’s Bing Search Engine

上周跟中科院的同学吃饭时，他们说在KDDCUP竞赛时，这篇文章的算法效果非常好。当时就想好好读一下，拖了几天，今天终于看了个开头。

Bing adCenter内部举办了一个CTR预估的比赛，这篇论文的方法adPredictor表现最优异，加上方法可以并行化，而且是online learning，优点多多，后来逐渐替换了Bing原来的算法。可见这个方法的威力。

文章在介绍算法细节之前，先普及了一些搜索广告、关键词竞价、常用特征、效果评估方法等信息。其中有一点很有意思：

CTR预估方法会影响到各个广告位上的内容，进而影响到算法未来的训练数据，因此不得不面对一个“勘探”和“开采”的问题。换句话说，如果系统不能给新广告足够的展示机会，算法很容易陷入局部最优解，广告的候选池会越来越小。

CTR预估如此，推荐系统也面临同样的问题。所以豆瓣电台也添加了一个策略，在已挖掘的用户喜好之外，按一定的比例加一些用户没听过的歌曲，扩展用户的兴趣范围，避免“过度开采”。

这里还有关于计算广告的一点资料：

Estimating the Click-Through Rate for Ne