原文链接:http://blog.csdn.net/bitcarmanlee/article/details/52138713
1.常用的CTR方法
常用的ctr预测的算法包括LR(Logistic Regression), FM(Factorization Machines), GBDT等等。像LR和GBDT, Spark Mllib都提供了相应的实现,另外台湾大学的Liblinear也有一个Spark版本的LR算法的实现。Mllib的LR是基于LBFGS的实现,而Liblinear是基于TRON的实现。实际当中我们测试过这两个算法,发现优化的性能非常接近。
2.FM与FFM
FM目前在Spark上有一个JIRA (SPARK-7008),但是目前还没有正式release。LR是最常用的算法,好处是简单明了,效果分析也相对容易,问题在于想要达到好的效果需要尝试大量的特征组合,特征工程比较费劲。FM和GBDT都是非线性的分类器(FM可以看做二次的),省去了复杂的特征组合的过程,性能也往往较好,但是出了问题不太好分析原因。实际当中可以先尝试LR,当性能不满足要求时再试FM或GBDT。
3.GBDT
FaceBook的一篇文章(Practical Lessons from Predicting Clicks on Ads at Facebook)提出先使用GBDT得到一个分类器,其中每棵树的叶子节点作为特征再送入LR训练分类器。解决了繁琐的特征组合问题。使用LR还有一个原因是比较好处理探索和利用问题(Exploartion & Exploitation)。
由于每天都会有新的新闻产生,而对这些新闻一开始点击率估计可能不准确,因此需要通过适当的投放从而收集信息以提升点击率的估计。这属于牺牲短期利益以获取长期利益的最大化。对于线性模型实现探索和利用有Yahoo的LinUCB以及微软的OBPR。另外对FM,也可以通过Bayes化实现E&E (Bayesian factorization machines, 2011),但是实现要相对复杂一些。目前我们的建模主要依赖spark平台。整个集群规模目前约为500台机器,以Spark on yarn方式部署。除了广告和推荐建模外,还支撑用户定向,广告系统BI的任务。