计算广告实时结算超投问题解决方案的分析

计算广告实时结算超投问题解决方案的分析

####1、超投问题应对方案
大流量高并发的实时结算系统会有一个令人十分头疼的问题，就是超投。在广告系统中，结算环节会实时计算各个广告主账户内的余额，如余额为0，既要立刻停止投放。所谓超投，就是指在结算系统发出停止投放的指令到系统实际将广告下线的这段时间内，投放系统错误的将下线广告投放出去。这部分被错误投放的广告是不能向广告主收钱的，也就造成了平台的损失。由于广告系统流量大，系统链路比较长，在广告检索环节又采用了分布式索引，因此一个小的系统RT抖动就可能造成大量损失。
解决超投有两点：一是缩短结算发出下线指令到引擎下线广告之间的RT；二是当账户余额较低时放慢该账户下广告的投放速度，虽然无法避免超投，但是可以大幅度的降低超投造成的损失。本文主要对第二点进行一些分析。
一个比较容易想到的方案是，在广告的检索环节，对在doc对应的表上定义一个多值类型的字段（设字段名称为minratio，可以存放10个数值）。在线投放时，会有一个过滤条件，具体逻辑是每次检索会随机生成一个取值范围为[1,10]的整数，如果一个doc对应的minratio字段的取值包含了这个数字，那么就保留进入后续流程，否则，这个doc会被过滤掉。比如，有一个doc的minratio取值为（1，2，3，4，5，6），随机生成的数字如果是6，那么这个doc就会被保留，如果随机生成的数字是9，那么这个doc就会被过滤掉。一般情况下，这个字段中存放了1～10十个数字，结算系统会根据账户余额不断的调整数字的个数。minratio字段中存放的数字个数决定了这个doc被投放的概率。
但是这里面有一个细节。假设一个doc的投放概率是40%，那么应该在minratio中存放哪四个数字呢？有两个选项：一是按顺序存放，40%即存放（10，9，8，7），如果概率是30%，就存放（10，9，8）；二是每次更新的时候随机存放四个数字，比如（2，5，7，9），每次更新数字个数时都会随机生成N个数字。
先看看两种方案会分别带来什么结果。采用第一种方案，如果检索时生成的随机数是10，那么所有的doc都会被检索出来，随机数是9，会有90%的doc会被检索出来，依次类推；采用第二种方案，不管检索时生成的随机数是多少，检索出来的doc的数量是近似相等的，只不过随机数不同，检索出的doc会不同。
####2、方案对比
这两种方案哪个更好呢？下面就来分析一下。设a/10概率投放的doc的数量为D_a，设当检索随机数为x时，检索出来的doc数量为r(x)。
第一种方案：$r_1(x)={\sum }_{i=x}^{10}{D}_i$
第二种方案：$r_2($