Hadoop集群的部署
一、下载、上传并解压Hadoop安装包
1.下载Hadoop
Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/
本次下载的版本是hadoop-2.7.5.tar.gz
2.将windows上下载的Hadoop安装包上传到linux上
#1.切换到上传的指定目录
cd /export/software
#2.上传到指定的目录下
rz
3.解压Hadoop安装包到指定位置
#解压到server目录下
tar -zxvf hadoop-2.7.5.tar.gz -C /export/server
二、修改配置文件
1.创建配置目录
#1.切换到指定目录:
cd /export/server/hadoop-2.7.5/
#2.创建配置时需要的目录
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits
2.修改环境变量配置文件
#1.切换到配置文件所在目录
cd /export/server/hadoop-2.7.5/etc/hadoop/
#2.修改环境变量配置文件
2.1修改hadoop-env.sh中的环境变量
#修改hadoop-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_281
注:将JAVA_HOME换成你的jdk所在目录,版本号一致
2.2修改mapred-env.sh中的环境变量
#修改mapred-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_281
2.3修改yarn-env.sh中的环境变量
#修改yarn-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_281
3.修改属性配置文件
3.1修改全局属性配置文件core-site.xml
#添加属性如下:
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/server/hadoop-2.7.5/hadoopDatas/tempDatas</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
3.2修改HDFS配置hdfs-site.xml
#添加属性如下:
<property>
<name>dfs.namenode.secondary.http-address</nam