安装Hadoop前需先安装Jdk,可参考文章:Linux_Jdk8_x64安装配置
1、下载安装包
方式一、官网下载 :
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
方式二、CSDN资源快速下载 :快速下载Hadoop安装包
2、上传压缩包到/usr/local/software/下,并解压到/usr/local目录下
tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/
3、添加环境变量
vim /etc/profile
在末尾添加以下内容:
#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
4、刷新配置
source /etc/profile
5、配置core-site.xml
添加内容:
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata103:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.2/data/tmp</value>
</property>
6、配置hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_144
7、配置hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata104:50090</value>
</property>
8、yarn-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_144
9、yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata103</value>
</property>
10、mapred-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_144
11、mapred-site.xml
复制一份mapred-site.xml文件
cp mapred-site.xml.template mapred-site.xml
添加内容:
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
12、配置slave
编辑hadoop安装目录中etc/hadoop/slaves文件
添加以下内容(不可以有空格):
bigdata102
bigdata103
bigdata104
13、将Hadoop文件夹发送到其他各节点上
14、格式化Namemode
hadoop namenode -format
15、启动集群
通过jps查看启动进程