Hdfs完全分布式集群搭建与配置及常见问题总结

一 hdfs完全分布式集群搭建及配置

1 搭建前准备工作

1.1 准备3台虚拟机且修改各台机器的主机名和IP地址

主机名: node01 对应的IP地址: 182.168.67.110
主机名: node02 对应的IP地址: 182.168.67.120
主机名: node03 对应的IP地址: 182.168.67.130

1.2 在windows中将各台linux机器的主机名配置到Windows的本地域名映射文件中:

C:\Windows\System32\drivers\etc\hosts

1.3 关闭防火墙和selinux

（1）关闭防火墙并设置开机不启动

systemctl stop firewalld (关闭防火墙)

systemctl disable firewalld (永久关闭防火墙)

systemctl status firewalld (查看防火墙状态)

（2）关闭selinux

vi /etc/selinux/config

SELINUX=disabled (SELINUX值改为disabled )

1.4 ssh免密登录

1.4.1 SSH免密登录的原理

需要在B节点配置A节点的公钥
(1)A节点请求B节点,要求登录
(2)B节点使用A节点的公钥,加密一段随机文本
(3)A节点使用私钥解密,并发出回给B节点
(4)B节点验证文本是否正确

1.4.2 SSH免密登录操作步骤

(1)三台机器都执行以下命令分别生成各自的公钥和私钥

ssh-keygen -t rsa

(2)输入命令后直接三个回车，生成的密钥在/root/.ssh/id_rsa路径下
(3)检查公钥是否正确

 less /root/.ssh/id_rsa.pub

（4）拷贝三台机器的公钥到第一台机器(三台机器都执行以下命令)

 ssh-copy-id node01

（5）检查拷贝情况

less /root/.ssh/authorized_keys

（6）复制node01的认证到其他机器

scp /root/.ssh/authorized_keys  node02:/root/.ssh

scp /root/.ssh/authorized_keys  node03:/root/.ssh

（7）免密登录配置完毕可以使用SSH从任意一台机器访问其他机器

1.5 JDK安装

（注：java -version 查看是否自带openjdk 如自带需要删除

rpm -qa | grep java
rpm -e --nodeps java-1.8.0-openjdk-xxxx

）

1.5.1 创建安装目录

在 cd /usr/local 目录下 创建一个java.

cd /usr/local
mkdir java

把jdk安装在/usr/local/java目录

1.5.2 下载JDK安装包

下载地址
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1.5.3 上传JDK文件

补充说明：下载rzsz插件：

yum install -y lrzsz

上传文件到/usr/local/java 目录

 cd /usr/local/java/

1.5.4 解压

tar -zxvf jdk-8u301-linux-x64.tar.gz

mv jdk1.8.0_301/ jdk1.8

1.5.5 配置文件

（1）修改配置文件（注：总共有三行配置，每行配置中不能有空格，且不能有换行）
打开配置文件

 vi /etc/profil