安装Hadoop所需要的库比较多,因此我们首先要做的是找到各个版本之间的依赖关系。
我列举出我安装Hadoop 2.7.5中重要的几个库的版本:
snappy:1.1.3
protobuf:2.5.0 (版本尽量一直, 可以打开BUILDING.txt核查一下)
openssl:1.0.1 (版本务必一直,千万不要openssl1.1.*)
在安装openssl时候的注意事项:
由于ubuntu不能用过yum直接安装libssl-dev,需要我们找到openssl的源代码,并编译成库。二编译openssl的教程网上又大把,但是千万注意,解压源码后,在configure的时候,需要加一个参数-shared
,表示其生成的库文件可以共享,因为编译Hadoop时候需要用到这些库。
节点上用maven编译的注意事项:
用mvn进行编译是需要连网的,但大部分情况下节点集群不会联网,一般是通过个人电脑作代理上网。
在这里要注意的是,尽量在maven的安装目录下找到/conf/settings.xml
中设置代理,而不要通过export 环境变量
的方式设置代理