Multi-Agent Cooperative Bidding Games for Multi-Objective Optimization in e-Commercial Sponsored Sea

总结

按照优化目标对广告做聚合，每个agent负责1个objective，有1个agent负责全局objective，再加一个allocation net调整agent和全局net之间的权重。最终优化目标是点击量、GMV、购物车添加量、全局

细节

多目标优化，多个广告主的目标

单个广告的出价$f(\cdot )$：
$$f_i(\cdot )=\sum _{j\in \mathcal{J}}{e}_{ij}{g}_k(i,j),\forall i\in {\mathcal{I}}^k$$
其中：

1. 若广告i在拍卖j中赢了，$e_{ij}=1$，否则$e_{ij}=0$
2. $i$表示广告，$j$表示拍卖
3. $g_k$是计算广告出价的函数，不同的目标有不同的计算方式

全局的出价$f_0(\cdot )$
$$f_0(\cdot )=\sum _{i\in \mathcal{I}\cup \bar{\mathcal{I}}}\sum _{j\in \mathcal{J}}{e}_{ij}\cdot g_0(i,j)$$
其中：

1. $g_0(i,j)$是GMV
2. $I$是smart-bidding的广告集合，$\bar{I}$是self-bidding的广告集合

任务的目标：
max ⁡ { b i j } F ( e i j ) = [ f 0 ( ⋅ ) , f 1 ( ⋅ ) , … , f I ( ⋅ ) ] T \begin{aligned} \max_{\{b_{ij} \}} &\bold{F}(e_{ij}) = [f_0(\cdot), f_1(\cdot), \dots, f_{\mathcal{I}}(\cdot)]^T \end{aligned} {bij​}max​​F(eij​)=[f0​(⋅),f1​(⋅),…,fI​(⋅)]T​
同时有几个限制条件：

• 广告赢得拍卖的出价总和 小于 某个值
• 广告主总花费 小于 广告主设置的某个值
• smart-bidding的广告出价 大于 某个值
• 平台收益 大于 某个值

对相同objective的广告，建1个agent(selfish bid)，再有一个shared net(cooperative bid)。还有一个allocation network
agent net，input是$S_{ij}$，表示广告i在拍卖j中的特征，输出是广告i在拍卖j下的出价$b_{AD}$
shared-net，input是$S_{ij}$和$S_{\cdot j}$，后者表示在拍卖j下所有广告的特征和，输出是在全局视角下的广告i出价$b_0$
allocation network，agent net和shared-net之间的权重调整，$b_{ij}=a_j\ast (b_{AD}{)}_{ij}+(1-a_j)\ast (b_0{)}_{ij}$

本文考虑的4个objectives：点击量、GMV、购物车添加量，全局

实验

数据集：离线+在线，自己的数据集
baseline：mkb(手动出价)、ocpc、mamdp（单目标）、maddpg（单目标）