CDH大数据平台搭建之HADOOP安装
一、什么是HADOOP?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,主要是分布式数据存储以及计算。
二、如何下载
1.官网下载
1、apache版本:http://hadoop.apache.org/
2、cdh版本(已收费):http://archive.cloudera.com/cdh5/cdh/5/
2.网盘下载
链接:https://pan.baidu.com/s/18x2lc0Z7JbJ7pW-15VtiDg 提取码:cdh5
三、搭建集群
1.虚拟机准备
请参考CHD大数据平台搭建之VMware及虚拟机安装
以及CHD大数据平台搭建之虚拟环境配置
2.安装JDK
3.安装ZOOKEEPER
4.集群规划
5.安装HADOOP
tar -zxvf hadoop-2.6.0-cdh5.7.6.tar.gz -C /opt/modules/
6.修改配置文件
1、进入配置文件目录:
cd /opt/modules/hadoop-2.6.0-cdh5.7.6/etc/hadoop
2、修改env文件
配置env文件java安装目录
hadoop-env.sh
mapred-env.sh
yarn-env.sh
修改:export JAVA_HOME=/opt/modules/jdk1.8.0_91
3、修改core-site.xml文件
1、新建文件夹:
mkdir -p /opt/modules/hadoop-2.6.0-cdh5.7.6/data/tmp
2、添加如下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.6.0-cdh5.7.6/datas/tmp</value>
</property>
<!-- zookeeper通讯地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>bigdata-training03.hpsk.com:2181,bigdata-training04.hpsk.com:2181,bigdata-training05.hpsk.com:2181</value>
</property>
4、修改hdfs-site.xml文件
1、新建文件夹:
mkdir -p /opt/modules/hadoop-2.6.0-cdh5.7.6/datas/jn
2、添加如下内容:
<!-- 完全分布式集群名称 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- 集群中NameNode节点都有哪些 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</v