统计大数据中最热门的数据

题目

假设搜索的输入信息是一个字符串，统计300万输入信息中的最热门的前十条，我们每次输入的字符串不超过255byte,内存使用只有1G。
请描述思想，写出算法（c语言），空间和时间复杂度

分析

当处理规模比较大的数据时，首先想到的数据结构就是Hash，

因为本题目有内存限制，那么需要先算一下采用Hash的话，内存是否够用

Hash节点采用如下结构：

typedef struct node node_t;
strut node{
    int count;
    char str[256];
    node_t *next;
};

 

每个Hash节点的大小为4+4+256=264Bytes

300万条输入信息，至多占用264×3000K=0.792G Bytes

考虑到Hash表的效率，20%的空槽基本够用，因此1G的内存是足够

步骤：

1. 遍历输入信息，如果输入信息存在于Hash表中，则在相应的count计数上加一，如果不在Hash表中，则构造新的Node，并插入到Hash表中
2. 遍历Hash表，找到频率技术最高的十条信息

空间复杂度，o(n),

时间复杂度，o(n)

哈希函数：对于字符串采用BKDR哈希函数，对于字符串中的每个字符，都采用下面的公式进行累加，hash = hash * 131 + ch

在此HashCode的基础上，可以将各个字符串映射到Hash表中

代码

随后补充