CDH大数据平台搭建之HADOOP分布式集群搭建

---

一、什么是HADOOP?

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要是分布式数据存储以及计算。

二、如何下载

1.官网下载

1、apache版本：http://hadoop.apache.org/
2、cdh版本(已收费)：http://archive.cloudera.com/cdh5/cdh/5/

2.网盘下载

链接：https://pan.baidu.com/s/18x2lc0Z7JbJ7pW-15VtiDg 提取码：cdh5 

三、搭建集群

1.虚拟机准备

请参考CHD大数据平台搭建之VMware及虚拟机安装
以及CHD大数据平台搭建之虚拟环境配置

2.安装JDK

请参考CHD大数据平台搭建之JDK安装

3.安装ZOOKEEPER

请参考CHD大数据平台搭建之ZOOKEEPER安装

4.集群规划

请参考CHD大数据平台搭建之集群规划

5.安装HADOOP

tar -zxvf hadoop-2.6.0-cdh5.7.6.tar.gz -C /opt/modules/

6.修改配置文件

1、进入配置文件目录：

cd /opt/modules/hadoop-2.6.0-cdh5.7.6/etc/hadoop

2、修改env文件

配置env文件java安装目录
hadoop-env.sh
mapred-env.sh
yarn-env.sh 
修改：export JAVA_HOME=/opt/modules/jdk1.8.0_91

3、修改core-site.xml文件

1、新建文件夹：

mkdir -p /opt/modules/hadoop-2.6.0-cdh5.7.6/data/tmp

2、添加如下内容

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://mycluster</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/modules/hadoop-2.6.0-cdh5.7.6/datas/tmp</value>
</property>
<!-- zookeeper通讯地址-->
<property>
	<name>ha.zookeeper.quorum</name>
	<value>bigdata-training03.hpsk.com:2181,bigdata-training04.hpsk.com:2181,bigdata-training05.hpsk.com:2181</value>
</property>

4、修改hdfs-site.xml文件

1、新建文件夹：

mkdir -p /opt/modules/hadoop-2.6.0-cdh5.7.6/datas/jn

2、添加如下内容：

<!-- 完全分布式集群名称 -->
<property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
</property>

<!-- 集群中NameNode节点都有哪些 -->
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</v