强化学习在广告参数上的应用（未完待续）

前言：本文是根据个人自己看的blog及日常工作对其进行的一些总结。因为才疏学浅，如有不对之处，请发邮件指点liedward@qq.com。非常感谢帮忙指正错误。

目录

一、业务说明：

二、数据模型抽象：

三、强化学习算法说明

四、例子：

---

一、业务说明：

搜索、推荐广告通常是一个多目标的需求。比如电商GMV公式通常如下：

Ctr：一个item对应该用户的点击率预测

Cvr：一个item对应该用户的转化率预测

price：该item的单价

Wi：流量分配权重

如上是对一条广告的排序公式。如果ctr权重过大，平台收益可能上升，但因为转化率权重较低，会导致商家ROI较低。同样如果注重ctr和cvr，客单价便宜则会使GMV下降。之前工业上通常会由人工测试，最终看整体GMV是否提升，但随机着不同人，不同品类精细化，所以我们要找到一套自动化、精细的方法调整以上参数。

 

二、数据模型抽象：

多目标优化求解问题。这里就用到了强化学习优化上述参数，从而使平台GMV最大化。

如果使用强化学习的思想，那么可以假设定义以下模块：