海量数据问题
阿T_smile
希望自己可以在技术的路上走得远一点,持续学习!
展开
-
海量数据问题
转载自:https://blog.csdn.net/Better_JH/article/details/77197318问题:给一个超过100G的log file, log中存着IP地址, 设计算法找到出现次数最多的K个IP地址。 1、将100G的文件进行切分,分为100个小文件。利用字符串转整数的函数(如 BKDRHash)将IP地址转换为整数key,再利用index=key%100就可将相同I...转载 2018-05-03 17:16:28 · 124 阅读 · 0 评论 -
大型网站应用之海量数据和高并发解决方案总结一二
转载自:https://blog.csdn.net/qq_32440951/article/details/78081991一、网站应用背景开发一个网站的应用程序,当用户规模比较小的时候,使用简单的:一台应用服务器+一台数据库服务器+一台文件服务器,这样的话完全可以解决一部分问题,也可以通过堆硬件的方式来提高网站应用的访问性能,当然,也要考虑成本的问题。当问题的规模在经济条件下通过堆硬件的方式解决...转载 2018-05-13 14:45:17 · 267 阅读 · 0 评论