php 统计二维数组次数最多_程序员经典面试题，200亿个数中找出现最多的数字原来挺简单...-CSDN博客

本文链接：https://blog.csdn.net/weixin_39970855/article/details/111653318

今天我们来聊一聊一个经典的程序员面试题，我们有一台计算机，只有2G内存，现在有一个文件，里面有20亿32位整数，还有另外一个文件，里面有200亿个32位整数，现在要设计一个算法，找出里面出现次数最多的数。

这种大数据处理的面试题，其实准备过就非常的简单，对于没准备过的人，简直就是灾难！1个32位整数需要4个字节，1KB可以存储256个数字，1GB可以存储26亿个数字。如果只有20亿个数字，我们可能全部加载到内存。很明显，但是我们不可能开出一个以数字大小位下标的数组，因为数字可能非常大，从1到100亿的数字都可能存在，如果我们是Java程序员，我们可以使用HashMap或者TreeMap等数据结构来维护一个Map的映射，但是Map占用的内存大小其实比较难以评估，用2GB来操作是20亿的数据是存在内存溢出的风险的。这个算法虽然简单，但却又一定的风险。

那么，我们有没有可能找到一个算法，在原来的数组上进行操作就找到最终答案的方法呢？其实并不难，我们对所有数字进行排序，常见的排序算法有冒泡排序、选择排序、堆排序、快速排序等。一般我们都使用快速排序，理论的算法复杂度位O(NLogN)，又稳定又快。问题就转化成，在一个有序的数组里面，如何快速找到出现次数最多的数字。同样非常简单，我们维护一个计数器，只要从左往右依次检查，如果一个数等于上一个数，计数器就加一，否则计数器就变成1，重新开始统计。就可以巧妙地扫描一遍，找到出现次数最多地数字。

那么如果文件特别大呢？像题目中说的200亿个数字的文件，我们不可能把所有的数字加载到内存里面，这种问题，其实都有一个常见的套路，那便是分治。什么是分治呢？就是把问题拆成多个子问题进行求解，例如上述问题，我们可以把这200亿个数，按照个位数的不同，分成10个不同的文件，然后采用上述算法进行统计。