elephant-bird
jack-zhu
这个作者很懒,什么都没留下…
展开
-
Elephant Bird简介
Elephant Bird AboutElephant Bird is Twitter's open source library of LZO, Thrift, and/or Protocol Buffer-related HadoopInputFormats, OutputFormats, Writables, Pig LoadFuncs, Hive SerDe,原创 2014-03-27 14:34:33 · 2393 阅读 · 0 评论 -
elephant-bird介绍
elephant-bird介绍 国内基于elephant-bird的资料还太少,除了淘宝搜索技术博客上的一篇网址:http://www.searchtb.com/2010/09/pb-lzo-used-in-hadoop.html,基本就没有了。但这篇也只是介绍如何使用. 其实对于elephant-bird的说明在其Readme.md已经很详细了.网址:htt转载 2014-03-27 14:37:59 · 1538 阅读 · 0 评论 -
elephant-bird的使用示例
elephant-bird的使用示例一、简要概述在近期项目的开发中,由于处理数据量巨大,为了减少HDFS的存储压力以及提高MapReduce的运算效率,故采用了protoc buffer序列化和lzo压缩机制。在项目中采用了这两种机制后,整个集群的存储压力及运算效率得到了明显的改善。但在开发中,我们需要分别根据protobuf的配置文件xxx.proto所定义的消息结构(也就是数据类型原创 2014-03-27 17:35:50 · 2839 阅读 · 0 评论