推荐系统遇上深度学习(一零八)-[阿里]基于强化学习的搜索广告排序策略优化...

本文介绍的是阿里18年的一篇论文，本文关注的不是CTR／CVR预估，而是对于排序公式参数的优化，分为离线寻优和线上探索两部分，一起来学习下。

1、背景

搜索广告展示通常按照以下的流程，广告主首先在想要参与竞价的关键词上设置自己的出价；当用户就某个关键词进行搜索时，系统将参与该关键词竞价的广告进行召回，并按照统一的排序公式进行排序，并选择排名最前的广告进行展示（本文的场景下只展示一个广告），并采用二价计费GSP计算广告的计费（一般为CPC）；当用户点击了对应的广告时，系统按照计算好的计费向广告主收取相应的费用。

搜索广告涉及平台、广告主、用户三方面的利益。对广告主来说，希望在平台上提升自己的流量和销量；对于用户来说，希望通过平台快速找到自己想要的商品；对于平台来说，希望用户体验、广告主诉求能够得到满足，同时能够最大化自身的收益。

为了满足三方的诉求，一个合理的排序公式的设计显得格外重要，接下来，我们将首先介绍排序公式的设计，随后介绍如何基于强化学习，通过离线和在线相结合的方式，计算合理的排序公式参数。

2、排序公式设计

为平衡平台、用户和广告主三方的诉求，搜索广告的排序公式设计如下：

其中ai(i=1,2,...,5)是排序公式中的参数&#x