Hadoop完全分布式集群安装（完整版）

在master 中
修改名字
配置网关（no改yes）
下载ntp等
重启

克隆 slave1 slave2
然后打开slave1 slave2 改名字
重启

三个机器重新启动后 ，查看ifconfig 查看ip

然后在Xshell中打开三台机器
配置host （三个） { vi /etc/hosts
写入ip+主机名
192.168.31.153 master
192.168.31.154 slave1
192.168.31.152 slave2 }

关闭防火墙 （三个） {
关闭防火墙：systemctl stop firewalld
查看状态：systemctl status firewalld
禁止防火墙自启：systemctl unenable firewalld
}

master·中·{选择时区：tzselect 5 9 1 1}
master 作为 ntp 服务器，修改 ntp 配置文件。（master 上执行）
{ vi /etc/ntp.conf
写入
server 127.127.1.0
fudge 127.127.1.0 stratum 10
重启 ntp 服务：
/bin/systemctl restart ntpd.service
}

其他机器同步（slave1，slave2） ntpdate master

免密：
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa（三台机器）
cd .ssh/（三台机器）
在master中：{
cat id_dsa.pub >> authorized_keys
ssh master
yes
exit
ssh master
exit
}在slave1,2中： {
scp master:~/.ssh/id_dsa.pub ./master_das.pub
yes
cat master_das.pub >> authorized_keys
}
在master中：{
ssh slave1
yes
exit
ssh slave1
exit

ssh slave2
yes
exit
ssh slave2
exit
}
cd （三个）

导入文件用Xftp

安装JDK：
在master中：{
mkdir /usr/java
tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java/

修改环境变量：vi /etc/profile
添加内容如下：
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAV{A}_{H}OME/lib/exportPATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
生效环境变量：source /etc/profile
分发给slave1,2
scp -r /usr/java/ slave1:/usr/
scp -r /usr/java/ slave2:/usr/
scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile
}（可以去slave1,2中查看是否有Java文件，文件中是否有jdk）

安装hadoop：
在master中：{
mkdir /usr/hadoop
tar -zxvf /opt/soft/hadoop-3.1.2.tar.gz -C /usr/hadoop/
配置环境变量：
vi /etc/profile
写入：
export HADOOP_HOME=/usr/hadoop/hadoop-3.1.2
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
使环境变量生效：
source /etc/profile
编辑 hadoop 环境配置文件 hadoop-env.sh ：
cd /usr/hadoop/hadoop-3.1.2/
cd etc/hadoop/
在此目录下进行：
vi hadoop-env.sh
输入内容：export JAVA_HOME=/usr/java/jdk1.8.0_171
vi core-site.xml
输入内容：


fs.default.name
hdfs://master:9000


hadoop.tmp.dir
/usr/hadoop/hadoop-3.1.2/hdfs/tmp


io.file.buffer.size
131072


fs.checkpoint.period
60


fs.checkpoint.size
67108864

vi hdfs-site.xml
输入内容：


dfs.replication
2


dfs.namenode.name.dir
file:/usr/hadoop/hadoop-3.1.2/hdfs/name
true


dfs.datanode.data.dir
file:/usr/hadoop/hadoop-3.1.2/hdfs/data
true


dfs.namenode.secondary.http-address
master:50090


dfs.http.address
master:50070


dfs.webhdfs.enabled
true

vi workers
删掉里面的东西，再写入
slave1
slave2

vi master
写入：
master

vi yarn-site.xml


yarn.resourcemanager.address
master:18040


yarn.resourcemanager.scheduler.address
master:18030


yarn.resourcemanager.webapp.address
master:18088


yarn.resourcemanager.resource-tracker.address
master:18025


yarn.resourcemanager.admin.address
master:18141


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.auxservices.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

vi mapred-site.xml
写入：

mapreduce.framework.name
yarn

master中格式化hadoop（就在此路径下）
hadoop namenode -format

然后在
cd …
cd…
sbin/start-all.sh

然后，
在Hadoop安装目录下找到sbin文件夹
在里面修改四个文件
1、对于start-dfs.sh和stop-dfs.sh文件，添加下列参数
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
2、对于start-yarn.sh和stop-yarn.sh文件，添加下列参数：
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

然后，cd …
sbin/start-all.sh
jps

}
在slave1,2中{
cd /usr/hadoop/

jps

}