【服务器】（二）阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Hadoop安装【图文附资源】（双系统通用）

鸣谢——主要参考：

1. 两台配置CentOS 7.3的阿里云ECS服务器

2.使用两台ECS服务器搭建“Cluster mode”的Hadoop集群环境

3. 外网无法访问云主机HDFS文件系统

正文开始，前置环节：

一、【服务器】阿里云ECS上搭建Hadoop集群环境——设置免密码ssh登陆

二、【阿里云】Ubuntu系统安装大数据环境jdk1.7.0

三、HaDoop文件系统HDFS的目录创建及浏览器查看

【补充：我的阿里云环境映射(host)】：

Hadoop(伪分布式)集群环境搭建：

【注】：无特殊说明时，三台机器的操作是一致的。
【注】：无特殊说明时，三台机器的操作是一致的。
【注】：无特殊说明时，三台机器的操作是一致的。

1. 系统配置介绍

• 三台阿里云：Ubuntu64 x(master)、Centos7.3 64x(slave1、slave2)
• jdk1.7.0
• hadoop-2.6.0-cdh5.14.0

2.安装hadoop

1. (FileZilla)上传与解压

	tar -zxvf  /home/test/Downloads/hadoop-2.6.0-cdh5.14.0.tar.gz -C /home/test/install/	#解压到/home/test/instal

2. 配置hadoop需要的native包

	#1.下载需要的native包(上述链接中，有所有版本的下载地址，或者直接更改下列命令的指令——但可能没有所以还是得看一下)
	cd /home/test/Downloads/	#进入自己一般存下载文件的地方
	wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar	#我是2.6.0的hadoop版本，所以下载这个到当前目录

	#2.解压上述文件到自己安装hadoop的目录下的两个地方
	tar -xvf hadoop-native-64-2.6.0.tar -C /home/test/install/hadoop-2.6.0-cdh5.14.0/lib/native/	#hadoop安装目录/lib/native
	tar -xvf hadoop-native-64-2.6.0.tar -C /home/test/install/hadoop-2.6.0-cdh5.14.0/lib	#hadoop安装目录/lib

	#3.配置环境变量,要输入自己的安装路径
	sudo vim /etc/profile
	#加入，如下图：
	export HADOOP_HOME=/home/test/install/hadoop-2.6.0-cdh5.14.0
	export PATH=$HADOOP_HOME/bin:$PATH::
	export JAVA_LIBRAY_PATH=$HADOOP_HOME/lib/native	#配置hdoop库待nativelib中
	export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
	export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

	#4.:wq，并刷新环境配置就行了
	source /etc/profile
	
	#5.确认路径
	echo $HADOOP_HOME

2. 设置路径：
   
3. 查看hadoop安装情况

	#代码：
	cd /home/test/install/hadoop-2.6.0-cdh5.14.0/	#切换路径：就是你上面的“HADOOP_HOME”
	
	./bin/hadoop version	#查看版本，结果见上才说明可用

3.配置hadoop核心文档

【说明】：三台配置文件是一致的

3.1 进入hadoop配置文档所在目录

echo $HADOOP_HOME	#查看目录，我这是“cd /home/test/install/hadoop-2.6.0-cdh5.7.0”

cd /home/test/install/hadoop-2.6.0-cdh5.14.0
cd etc/hadoop/

ls	//若出现，上图，则说明进入了hadoop的配置文件所在目录

3.2 编辑hadoop配置文档，代码，三个(尽管系统不同)服务器文件的配置设置一致，但是功能上NameNode与DataNode还是有差别。