有1000亿条记录,每条记录由url,ip,时间组成,设计一个系统能够快速查询以下内容
有1000亿条记录,每条记录由url,ip,时间组成,设计一个系统能够快速查询以下内容1.给定url和时间段(精确到分钟)统计url的访问次数2.给定ip和时间段(精确到分钟)统计ip的访问次数首先,1000亿条记录全部放到内存肯定不够,那就是分成小文件了,然后整合;公共的时间段,因为精确到分钟,我们把这每一分钟建成一个小文件,每个小文件肯定会有许多重复的ip,url;现在统计每个小的文件中url...
原创
2018-04-04 21:48:32 ·
1244 阅读 ·
0 评论