We Know What YouWant: An Advertising Strategy Recommender System for Online Advertising

总结

MLP做了一个广告主的采纳率模型（阿里20年才做广告主侧的优化吗。。。）

细节

用context bandit算法，学习advertisers’ preference以及recommendation adoption

ad campaign $\mathbf{v}=[v_1,v_2,\dots ,v_n{]}^T$，其中n代表KPI的个数。${\mathbf{w}}^{\ast }$代表广告主的偏好，目标函数：
$$\prod _{{\mathbf{w}}^{\ast }}=\underset{\prod }{\mathrm{argmax}}{\mathbf{w}}^{\ast T}\cdot {\mathbf{v}}_{\prod }$$

context bandit建模
status $\mathcal{S}$：campaign相关的特征
action $\mathcal{A}$：预测广告主的偏好${\mathbf{w}}^{\ast }$
reward $\mathcal{R}$：采纳为1，其他为0

cb的目标函数
$$R(T)=\mathbf{E}[\sum _{t=1}^T{r}_{t,{\mathbf{w}}_t^{\ast }}]-\mathbf{E}[\sum _{t=1}^T{r}_{t,{\mathbf{w}}_t}]$$
其中${\mathbf{w}}_t^{\ast }$表示最优偏好

本文的action是高维、连续的，用cb无法有效选择action，因此：
$$\mathbf{w}=MLP(\text{advertiser behaviours, ad profile, scenario, ...})$$

loss function:
$$L=-\frac{1}{N}\sum _{(x,v,y)\in \mathcal{D}}(y\times \log p(x,v)+(1-y)\times \log (1-p(x,v))$$
其中$v$是ad performance vector，$x$是environment feature，$y$是label（是否采纳）

实验

实验组+对照组客户消费占全量30%，50/50区分的实验对照组

评估指标

在线实验
采纳率：实验组采纳率4.5%，对照组采纳率3.8%
ARPU/average revenue per user：实验组arpu+1.2%
离线实验
accumulated expected regret，也即上面的$R(T)$
accumulated adoption rate，$\frac{{\sum }_{t=1}^T{r}_{t,{\mathbf{w}}_t^{\ast }}}{T}$