Ubuntu下编译安装带snappy的Hadoop踩坑小结

安装Hadoop所需要的库比较多,因此我们首先要做的是找到各个版本之间的依赖关系。
我列举出我安装Hadoop 2.7.5中重要的几个库的版本:
snappy:1.1.3
protobuf:2.5.0 (版本尽量一直, 可以打开BUILDING.txt核查一下)
openssl:1.0.1 (版本务必一直,千万不要openssl1.1.*)

在安装openssl时候的注意事项:

由于ubuntu不能用过yum直接安装libssl-dev,需要我们找到openssl的源代码,并编译成库。二编译openssl的教程网上又大把,但是千万注意,解压源码后,在configure的时候,需要加一个参数-shared ,表示其生成的库文件可以共享,因为编译Hadoop时候需要用到这些库。

节点上用maven编译的注意事项:

用mvn进行编译是需要连网的,但大部分情况下节点集群不会联网,一般是通过个人电脑作代理上网。
在这里要注意的是,尽量在maven的安装目录下找到/conf/settings.xml中设置代理,而不要通过export 环境变量的方式设置代理

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值