Hadoop伪分布式集群的搭建

前言：

在大数据和分布式计算领域，搭建伪分布式系统是一种常见的实验和开发方式。伪分布式系统，也称为模拟分布式系统或模拟集群，主要用于模拟真实的分布式环境，以便进行开发和测试。在搭建伪分布式系统之前，了解其目的和优势是至关重要的。

一、前期准备工作

准备工作一	准备一台centOS6的虚拟机、一台Windows11的笔记本电脑
准备工作二	准备好Hadoop3.x以上的压缩包
准备工作三	准备好jdk8的压缩包

---

二、组网搭建

1.配置网络IP

   1.1.将虚拟机网络的连接改成自定义模式（VMnet8模式）

注：静态网络的配置在另外一篇博客里

   1.2.修改ifcfg-eth0网络配置

   1.3.重新启动网络服务

service network restart

   1.4.测试配置的IP、网关能否ping通

2.关闭防火墙

   2.1.临时关闭防火墙

       2.1.1.查看防火墙状态

service iptables status

   

       2.1.2.关闭防火墙

service iptables stop

   2.2.永久关闭防火墙

chkconfig iptables off

3.修改主机名

    3.1.临时修改主机名

hostname Master

注：这个根据自己的需求改！

   3.2.永久修改主机名

vim /etc/sysconfig/network

注：修改里面的hostname，其他的不要动！

4.绑定主机IP和主机名

vim /etc/hosts

到此，便完成了组网的搭建！

---

三、配置Hadoop伪分布式集群

注：创建普通用户去搭建！

   1.创建普通用户、配置免密登录

#创建hd普通用户
useradd hd

#修改其密码
passwd hd

#配置免密钥
ssh-keygen -t rsa

#切入.ssh目录下
cd .ssh/

#将公钥复制到公钥库
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

 

配置免密登录成功！

2.创建一个目录，用于管理上传的jdk和Hadoop压缩包

• 注：根据自己的喜爱创建，不想创建也可以！

• 进入创建的software目录下

• 将jdk和Hadoop压缩包上传到该目录下

3.解压jdk和Hadoop、配置java、Hadoop环境变量

• 解压

• 配置环境变量

#配置用户环境变量
vim .bash_proile

#刷新环境变量
source .bash_profile

4.配置Hadoop集群所需的核心文件

  4.1.在software目录下创建hadooptmp目录

• 用于存放初始化Hadoop时产生的数据

 4.2.在hadoop-env.sh文件中添加jdk安装路径

#切到该目录下
cd hadoop-3.3.0/etc/hadoop/

#编辑hadoop-env.sh
vim hadoop-env.sh

 4.3.配置core-site.xml文件

vim core-site.xml

 4.4.配置hdfs-site.xml文件

vim hdfs-site.xml

 4.5.配置mapred-site.xml文件

vim mapred-site.xml

 4.6.配置yarn-site.xml文件

vim yarn-site.xml

4.7.配置works文件

vim works

5.格式化namenode

hadoop namenode -format

6.启动Hadoop伪分布式集群

start-all.sh

• 查看集群9870端口

• 查看集群8088端口

 到此，Hadoop伪分布式集群就搭建成功了！