Hadoop集群部署

1.统一服务器域名

为了方便管理hadoop集群，需要统一修改服务器域名

eg:3台服务器(集群最小规模)修改/etc/hosts文件

192.168.0.1 hadoop-master-01

192.168.0.2 hadoop-slave-01

192.168.0.3 hadoop-slave-02

不同的机器运行不同的命令

hostnamectl set-hostname  hadoop-master-01

hostnamectl set-hostname  hadoop-slave-01

hostnamectl set-hostname  hadoop-slave-02

最后执行reboot命令就能成功修改域名

2.SSH无密码登录

hadoop-master-01主机生成秘钥,执行以下命令

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

分发公钥到两个slave上面

hadoop-slave-01和hadoop-slave-02两台服务器执行以下命令:

scp root@hadoop-master-01:~/.ssh/id_dsa.pub ~/.ssh/master_dsa.pub

cat ~/.ssh/master_dsa.pub >> ~/.ssh/authorized_keys

hadoop-master-01测试连接hadoop-slave-01和hadoop-slave-02

ssh  hadoop-slave-01

logout

ssh  hadoop-slave-02

logout

3.配置Java环境

配置java运行环境

修改/etc/profile文件，新增内容:

export JAVA_HOME=/usr/local/java/jdk1.8.0_291

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH

export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin

export PATH=$PATH:${JAVA_PATH}

保存内容后执行

source /etc/profile

java  -version

4.安装hadoop组件

Hadoop-master-01 下载hadoop-3.3.1

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

tar -zxf hadoop-3.3.1.tar.gz

mv hadoop-3.3.1 hadoop

配置hadoop运行环境