Hadoop HDFS 3.3.1分布式存储搭建

前言

看了标题会不会诧异，怎么昆仑分布式数据库玩起了分布式文件系统？

因为昆仑分布式数据库0.9版本起，要增加HDFS分布式文件备份功能，所以开发小哥哥工作中，就顺便把学习的过程分享出来。

HDFS（HadoopDistributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。

是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。

它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。

HDFS是开源的，存储着Hadoop应用将要处理的数据，类似于普通的Unix和Linux文件系统，不同的是它是实现了google的GFS文件系统的思想，是适用于大规模分布式数据处理相关应用的、可扩展的分布式文件系统。

下面我们详细介绍在两台CENTOS8的虚拟机上，搭建HDFS分布式文件存储系统：

一、配置基本环境

1.1 修改主机名，并重启生效

vim /etc/hosts192.168.207.164         centos8-0192.168.207.165         centos8-1

1.2 关闭防火墙并设置开机不启动

systemctl stop firewalld.servicesystemctl disable firewalld.service

1.3 关闭Selinux并设置开机不启动​​​​​​​

setenforce 0vim /etc/selinux/configSELINUX=disabled

另一台机器，重复1.1-1.3步骤

1.4 配置免密登陆

1.4.1 使用root用户登陆系统生成密钥：

ssh-keygen

一直回车确定 (生成的密钥文件在/root/.ssh下 id_rsa 、id_rsa.pub)

1.4.2 配置自己对自己的免密登陆：

ssh-copy-id centos8-0

（另一台机器ssh-copy-id centos8-1）根据提示输入yes，输入密码（centos8-0就是你当前第一台的主机名）。

1.4.3 将密钥文件拷贝到第二台主机上：

ssh-copy-id centos8-1

（另一台机器ssh-copy-id centos8-0），根据提示输入yes，根据提示输入对方主机的root密码。

1.4.4 配置完免密登陆后，相互测试一下，能不能免密登录：

ssh centos8- （ssh centos8-1）

二、安装java环境

2.1 下载java二进制包：