BigData(六):编译Hadoop

说明:
原本打算说一哈,Nginx和Zookeeper的,但是发现,Nginx放到Hadoop的图形化界面来记录吧,而Zookeeper属于Storm这个东西,才用得上,所以就单独出来吧!

前提:为什么要编译这个东西哈,因为Hadoop依赖C环境,即本地环境,你下载的hadoop版本,肯定是有问题的,因为,我用的是Linux的CentOS7的环境!

下载:hadoop 版本的hadoop-2.6.4-src.tar
root 提交到/etc/local/src/里面:
展示一哈:
这里写图片描述

第一步:
下载 protobuf :Google Protocol Buffer(简称 Protobuf)是一种轻便高效的结构化数据存储格式,平台无关、语言无关、可扩展,可用于通讯协议和数据存储等领域。
这里,我选择直接复制,因为不关心这个东西是什么!
https://code.google.com/p/protobuf/downloads/list 或 https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz 这个是下载地址,但是我可以告诉你,你现在肯定下载不到了,你去官网下载,它会告诉你,3.0版本了,如果你选择了3.0,那么你在CentOS安装其他一系列的软件,我当时是尝试过了,单我觉得很烦,所以务必使用2.5,如果下载不到,那就找网页去搜去要,我的百度云盘,我没空弄!

为了编译,你需要下载几个软件:

yum install -y gcc gcc-c++ make

结束之后,安装protobuf:

tar -zxvf  protobuf-2.5.0.tar.gz -C /usr/local/    //解压

这里写图片描述

这里我要改名:protobuf-2.5.0 我把后面的版本号去掉了

cd /usr/local/protobuf      //进入目录

输入命令:

	 ./configure --prefix=/usr/local/protobuf
	 make && make install     //时间是几分钟还好的,待会就编译hadoop就知道什么就长了!

将这个东西,添加到环境变量: vim /etc/profile 这里,我截图:

这里写图片描述

export PATH=$PATH:/usr/local/protobuf/bin    //这句话添加进去就行了啊
protoc --version 是查看命令的!(如果没有,尝试关闭XShell,重新打开,再输入试试)

然后再安装下面的东西:

yum install -y cmake openssl-devel ncurses-devel zlib-devel
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop openssl openssl-devel

这些是编译的环境搭建,对于第二台和第三台,我编译3次了,有问题也解决了,所以,我是没必要再去编译了,直接scp

hadoop-2.6.4-src.tar.gz (我用的是这个,)

tar -zxvf hadoop-2.6.4-src.tar.gz -C /usr/local/
cd /usr/local/src/hadoop-2.6.4-src

执行:

mvn package -Pdist,native -DskipTests -Dtar

接下里就是漫长的等待,做别的去吧,三个小时差不多吧! (maven就是用在这里的)

.查看编译好的安装包
cd /usr/local/src/hadoop-2.6.4-src/hadoop-dist/target (400多兆吧)

如果出现问题(当然,我是没有的,jdk1.8错过了,环境不对,也更改过了)
INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
在/etc/profile中添加
export HADOOP_OPTS=“-Djava.library.path=$HADOOP_HOME/lib/native”

对于另外两台机子,我就不多介绍了,scp前面我用过了!完成之后,那就开始讲讲Hadoop的各个子项目和原理了!

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值