蓄水池抽样

蓄水池抽样，首先有它的应用和它的神奇之处，其次这个也是机器学习领域面试的热门试题。

问题一（引子）：流式数据（Streaming Data），数据长度为n但不知道，如何从中等概率随机选择一个数据？

解法： 我们以概率1选择第一个数据，以1/2的概率选择第二个数据，以此类推，以1/m的概率选择第m个对象（如果后面某一数据一旦选中，替换掉以前选中的数据）。当所有数据流过时，每个对象具有相同的被选中的概率1/n。

证明： 第m个数据最终被选中的概率P = 选择m的概率*其后的所有对象都不被选中的概率，即
$$P_m=\frac{1}{m}\times (\frac{m}{m+1}\times \frac{m+1}{m+2}\times \cdots \times \frac{n-1}{n})=\frac{1}{n}$$

问题二（蓄水池抽样）：流式数据（Streaming Data），数据长度为n但不知道，如何从中等概率随机选择k（k < n）个数据？

解法： 先选中前k个数据（当作一个蓄水池），然后以k/(k+1)的概率选择第k+1个数据，以k/(k+2)的概率选择第k+2个数据，以此类推以k/m的概率选择第m个数据，一旦后面有某个数据被选中，则随机替换蓄水池中的一个数据。最终每个数据被选中的概率均为k/n。

证明： 第m个数据选中的概率 = 选择第m个数据的概率其后所有数据（不被选中的概率+被选中的概率不替换第m个数据的概率）