面试题：2G内存找出20亿个整数中出现次数最多的数

空间限制：2G内存找出20亿个整数中出现次数最多的数

我们假设整数是32位，也就是4B大小的int类型

极端情况：

• 每个数都一样，该整数统计只需要8B大小的空间
• 每个数都不一样，此时占用空间最大20亿 * 8B 接近 16GB

需要解决这个问题，我们可以先了解一个算法：

哈希分流：

哈希分流指的是通过哈希算法将数据或请求分散到多个处理单元上，以实现负载均衡和高效率处理的技术。在不同的应用场景下，哈希分流有不同的具体实现方式和目的，但核心思想相同，即使用哈希算法对输入数据（如IP地址、用户ID等）进行计算，根据计算结果将数据分配到对应的服务器或处理单元。这样可以有效地分散请求或数据，避免某单一点过载，同时提高系统的可扩展性和稳定性。

哈希分流的应用场景包括但不限于：

1. 负载均衡：在网络服务器负载均衡中，哈希分流可以将用户请求分散到多个服务器，根据用户的某些标识（如IP地址）来决定请求应由哪个服务器处理，从而均匀分配负载。
2. 数据分片：在数据库管理或大数据处理中，哈希分流可以将数据分片存储在不同的服务器或节点上，提高数据处理的效率和响应速度。
3. 缓存分配：在分布式缓存系统中，通过哈希算法将数据分散存储在多个缓存节点上，可以减少单个节点的压力，提高缓存系统的命中率和性能。

1. 拆分：

我们无法再2G内存中装入所有的数字所以考虑拆分，将20亿个数字拆成不同的份，分流到不同等份中。而我们采取哈希分流的原因就如上述所说。而2G内存最多能统计多少数呢，2^31 / 2 ^ 3 = 2 ^ 28个数，然后2^32 / 2 ^ 28 = 16，所以需要拆分成16份。

2. 统计：

• 从一个存储20亿个整数的大文件依次读取数据通过哈希分流道16个小文件中
• 依次使用2GB内存中统计小文件中的整数出现次数，找出最大值
• 综合16个小文件中找出的最大值进行比较找出全局最大值

最后给大家推荐一个LinuxC/C++高级架构系统教程的学习资源与课程，可以帮助你有方向、更细致地学习C/C++后端开发，具体内容请见 https://xxetb.xetslk.com/s/1o04uB