大数据
陈奉刚11
大数据开发与问题定位
展开
-
海量数据处理
海量数据处理 1. 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?方案1:可以估计每个文件安的大小为50G×64=320G,远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s 遍历文件a,对每个url求取,然后根据所取得的值将url分别转载 2014-07-28 12:11:16 · 650 阅读 · 0 评论 -
zero copy 为什么快
转自 :http://blog.csdn.net/jiangbo_hit/article/details/6146502一、典型IO调用的问题一个典型的web服务器传送静态文件(如CSS,JS,图片等)的过程如下:read(file, tmp_buf, len);write(socket, tmp_buf, len);首先调用read将文件从磁盘读取到tmp_buf,然转载 2014-12-15 23:14:28 · 588 阅读 · 0 评论 -
Storm-源码分析汇总
Storm-源码分析汇总Storm 简介Storm Topology的并发度Storm - Guaranteeing message processingStorm - Transactional-topologiesTwitter Storm – DRPCStorm 多语言支持 Storm Starter转载 2014-12-12 22:09:21 · 509 阅读 · 0 评论