hadoop
阿春
关注最新技术,记录成长点滴,关注支付行业
展开
-
浅析Hadoop文件格式
转:http://www.infoq.com/cn/articles/hadoop-file-format Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过,MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建,因此序列化和反序列化的成本过高[7]。本文介绍Hadoop目前已有的几种文件格式,分析其特点、开销及使用场转载 2012-08-22 16:05:38 · 1185 阅读 · 1 评论 -
hadoop性能分析工具vaidya学习
总的来讲,内置的测试类比较少,真正的profiling还需要自己添加,而且要对hadoop源代码内置各个job counter的实现有叫深入的理解。 但为hadoop专门的profiling提供了一个可支持框架。 vaidya简介 hadoop 0.20.2的vaidya文档;http://hadoop.apache.org/docs/r0.20.2/vaidya.htm转载 2012-11-30 11:01:13 · 1537 阅读 · 0 评论