【面试】系统设计 | 难题挑战（不断更新中）

一、问题

很多人面对问题，第一个想法是找有没有开源技术可以用一下。但我经常说服别人不要先去看什么开源技术可以用，而是从自己面对的问题出发独立思考，忘掉 MapReduce，忘掉 Apache Spark，忘掉 Apache Beam。如果这个世界一无所有，你会设计怎样的大规模数据处理框架？你要经常做一些思维实验，试试带领一下技术的发展，而不是永远跟随别人的技术方向。

1、大规模数据，分布式求前100，求全局排序

• 方法1：Spark思想
  假如我有 100亿条数据，但是我们的内存只有1M，但是我们磁盘很大， 我们现在要对这100亿条数据进行排序，是没法把所有的数据一次性的load进行内存进行排序的，这就涉及到一个外部排序的问题，我们的1M内存只能装进1亿条数据，每次都只能对这 1亿条数据进行排序，排好序后输出到磁盘，总共输出100个文件，最后怎么把这100个文件进行merge成一个全局有序的大文件。我们可以每个文件（有序的）都取一部分头部数据最为一个 buffer， 并且把这 100个 buffer放在一个堆里面，进行堆排序，比较方式就是对所有堆元素（buffer）的head元素进行比较大小， 然后不断的把每个堆顶的 buffer 的head 元素 pop 出来输出到最终文件中， 然后继续堆排序，继续输出。如果哪个buffer 空了，就去对应的文件中继续补充一部分数据。最终就得到一个全局有序的大文件。

• 方法2：MR思想-用分治
  ……

• 方法3：粗调 + 精调
  ……

2、其他

1、【难题解决】海量数据求Top K
2、【难题解决】海量数据筛选
3、【Spark】数据倾斜

二、参考

1、如何快速判断一个用户是否访问过我们的 APP？
2、位图（BitMap）索引
3、海量数据中的TOPK问题小结
4、海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
5、10 亿个数中找出最大的 10000 个数（topK 问题）