Hadoop：Hadoop集群的部署

Hadoop集群的部署

一、下载、上传并解压Hadoop安装包

1.下载Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/
本次下载的版本是hadoop-2.7.5.tar.gz

2.将windows上下载的Hadoop安装包上传到linux上

#1.切换到上传的指定目录
cd /export/software
#2.上传到指定的目录下
rz

3.解压Hadoop安装包到指定位置

#解压到server目录下
tar -zxvf hadoop-2.7.5.tar.gz -C /export/server

二、修改配置文件

1.创建配置目录

#1.切换到指定目录：
cd /export/server/hadoop-2.7.5/
#2.创建配置时需要的目录
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

2.修改环境变量配置文件

#1.切换到配置文件所在目录
cd /export/server/hadoop-2.7.5/etc/hadoop/
#2.修改环境变量配置文件

2.1修改hadoop-env.sh中的环境变量

#修改hadoop-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_281

注：将JAVA_HOME换成你的jdk所在目录，版本号一致

2.2修改mapred-env.sh中的环境变量

#修改mapred-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_281

2.3修改yarn-env.sh中的环境变量

#修改yarn-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_281

3.修改属性配置文件

3.1修改全局属性配置文件core-site.xml

#添加属性如下：
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node1:8020</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/export/server/hadoop-2.7.5/hadoopDatas/tempDatas</value>
</property>
<property>
   <name>io.file.buffer.size</name>
   <value>4096</value>
</property>
<property>
   <name>fs.trash.interval</name>
   <value>10080</value>
</property>

3.2修改HDFS配置hdfs-site.xml

#添加属性如下：
<property>
    <name>dfs.namenode.secondary.http-address</nam