snappy的安装

hive经常使用snappy的压缩格式,但是hadoop本身是并不支持snappy格式的压缩的(可以通过hadoop checknative指令查看),想要hadoop支持snappy类型的压缩则需要编译hadoop对应版本的源码,编译成功后把native文件copy到hadoop的目录下,重启hadoop即可。想象的挺好的,but正在的大坑在编译的阶段,弄了两天才弄好下面是我的一些总结:
首先说一些坑:
编译环境的安装,否则无法编译
yum install -y gcc gcc-c++ make cmake
protobuf必须是2.5.0版本,snappy也要编译我的snappy是在官网下载的1.1.3版本
protobuf、snappy都要编译安装,指令顺序如下:
./configure
make
make install
编译hadoop需要依赖一些别的软件:
protocolbuf、ant
没有安装这些在编译的时候会报错: Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.4.0:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: ‘protoc --version’ did not return a version -> [Help 1]

ant安装很简单,下载tar包后配置环境变量即可
最终编译hadoop源码即可,编译指令使用这个,网上版本比较多,这个是正确的:
cd hadoop-2.4.0-src/
mvn clean package -Pdist,native -DskipTests -Dtar -Drequire.snappy -Dbundle.snappy -Dsnappy.lib=/usr/local/lib -Dmaven.javadoc.skip=true
编译过程中网络不佳的话会出现下载假死(卡在那不动了),或者可能出现某个文件下载超时,这时就ctrl+c再重来一遍吧!整个编译过程比较慢,大概编译1个小时(网络好的话可能快一点)。
这篇文章写得挺不错,我就是结合这篇文章解决的问题,大家有需要的话可以参考下

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值