强化学习在广告参数上的应用（未完待续）

前言：本文是根据个人自己看的blog及日常工作对其进行的一些总结。因为才疏学浅，如有不对之处，请发邮件指点liedward@qq.com。非常感谢帮忙指正错误。

目录

一、业务说明：

二、数据模型抽象：

三、强化学习算法说明

四、例子：

---

一、业务说明：

搜索、推荐广告通常是一个多目标的需求。比如电商GMV公式通常如下：

Ctr：一个item对应该用户的点击率预测

Cvr：一个item对应该用户的转化率预测

price：该item的单价

Wi：流量分配权重

如上是对一条广告的排序公式。如果ctr权重过大，平台收益可能上升，但因为转化率权重较低，会导致商家ROI较低。同样如果注重ctr和cvr，客单价便宜则会使GMV下降。之前工业上通常会由人工测试，最终看整体GMV是否提升，但随机着不同人，不同品类精细化，所以我们要找到一套自动化、精细的方法调整以上参数。

 

二、数据模型抽象：

多目标优化求解问题。这里就用到了强化学习优化上述参数，从而使平台GMV最大化。

如果使用强化学习的思想，那么可以假设定义以下模块：

states：

比如age, gender, power（购买力等级）, pageid, hour（行为发生的时刻）等

reward:（根据业务自己设计）

reward = （是否点击+是否购买*price）* （1/排序位置）^N

Agent:

调整搜索排序（参数）

ACTION：

用户点击、用户购买行为

 

三、强化学习算法说明

使用的方法大体上是以下几种

• CEM (Cross Entropy Method)
• ES (Evolution Strategy)
• DDPG (Deep Deterministic Policy Gradient)
• DQN (Deep Q Network)

因为也刚刚开始看，建议可以看莫凡强化学习视频

 

四、例子：

（用一套假数据，完整跑一下模型）

未完待续