大数据去重：Bitmap和布隆过滤器

1. 用户关注链问题

场景描述：在某场景下有一个用户关系链，比如A关注了B，然后B关注了C，然后用户B知道自己被谁关注，也知道他关注了谁。假如说将这个信息放在统一的数据库中，然后用户查询的时候每次去遍历，那么就会对数据库造成非常大的负担，而且在一个亿级用户系统中这样的时间延迟是不可接受的。这种情况下我们可以为每个用户维护两个集合：一个是他关注的人，一个是他被谁关注了。这里也会出现一个问题：假如A关注了B，那么一次关注就要写两个数据，一个是A的关注列表，一个是B的被关注列表，如果说中间由于网络或者其他某些原因导致其中一个写操作丢失，后面要怎么排查出那个丢失的写操作？

解决方案：使用归并排序来处理，内排外排都行。假定A关注了B，那么就会产生两个数据(A,B)、(A,B)，一个放在A的关注列表中，一个放在B的被关注列表中，他们都是成对出现。我们每隔一段时间就批量将所有用户的关注列表和被关注列表读取出来，然后进行归并排序，只要在归并的过程中出现了成对的数据，就把成对的数据抛弃掉，这样一直归并下去最后剩下的就是不成对的数据。最后我们根据这个不成对的数据去把它们补全即可。

2. Bitmap

场景描述：在2.5亿个整数中找出不重复的整数，注，内存不足以容纳这2.5亿个整数。

解决方案1：采用2-Bitmap（每个数分配2bit，00表示不存在，01表示出现一次，10表示多次，11无意义）进行，共需内存2^32 * 2 bit=1 GB内存