Hadoop完全分布式模式安装部署

最新推荐文章于 2025-04-20 18:49:52 发布

主神

最新推荐文章于 2025-04-20 18:49:52 发布

阅读量1.1k

点赞数 1

分类专栏： hadoop 笔记文章标签： hadoop 大数据分布式 linux 服务器

本文链接：https://blog.csdn.net/m0_46209092/article/details/105352872

版权

本教程详细介绍了如何在Linux环境下搭建一个完全分布式Hadoop集群，包括配置3台虚拟机、设置时钟同步、SSH免密登录、修改配置文件、格式化HDFS、启动Hadoop以及运行wordcount和wordmean示例程序。通过该教程，读者能够掌握Hadoop集群的基本搭建和操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在Linux上搭建Hadoop系列：1.Hadoop环境搭建流程图2.搭建Hadoop单机模式3.搭建Hadoop伪分布式模式4.搭建Hadoop完全分布式模式

注：此教程皆是以范例讲述的，当然你可以按照教程搭建一个与教程一样的Hadoop环境，如果你想搭建一个与本教程有一些差异的Hadoop环境，这时请注意配置文件的参数可能不一样以及文件路径不一样。

(5)修改主节点配置文件并远程拷贝到从节点

3.在完全分布式模式下运行Hadoop自带示例程序

1.在完全分布式模式下使用wordcount示例程序完成单词统计

（1）准备数据

（2）运行wordcount程序

(3)查看运行结果

2.在完全分布式模式下使用wordmean示例程序计算文件中单词的平均长度

（1）准备数据：HDFS上的/input

(2)运行wordmean程序

(3)查看结果

1.Hadoop集群规划与部署

一个完全分布式模式Hadoop集群至少由三台机器构成，此处搭建一个三台机器构成的小集群。

一主二从结构
节点角色	虚拟机名	机器IP	主机名	运行进程
主节点	master	192.168.232.200	node	NameNode ResourceManager SecondaryNameNode
从节点	slave1	192.168.232.201	node1	DataNode NodeManager
从节点	slave2	192.168.232.202	node2	DataNode NodeManager

(1)准备3台虚拟机

3台虚拟机可以是已部署单机模式Hadoop,已部署伪分布模式Hadoop,当然也可以是从零开始的基础环境。

克隆出三台虚拟机

注：为方便管理可以建一个文件夹（full-Distributed），将三台虚拟机放入其中。

(2)分别映射好三台虚拟机的IP与主机名

//1.修改IP避免冲突
vi /etc/sysconfig/network-scripts/ifcfg-ens33  //编辑网络配置
systemctl restart network //重启网络服务

此处为方便记忆，建议master节点IP尾数用200，slave1用201，slave2用202.

//2.修改主机名
hostname //查看主机名
hostnamectl set-hostname node //将主机名改为node
hostnamectl set-hostname node1 //将主机名改为node1
hostnamectl set-hostname node2 //将主机名改为node2

master用node,slave1用node1,slave2用node2.

//3.映射IP与主机名
vi /etc/hosts

(3)设置三台机器时钟同步

完全分布式模式由多台主机组成，如果主机间时间差异较大，运行Hadoop的时候会出现问题，因此需要对每个节点配置时钟同步。

采用NTP服务通过获取网络时间使集群内不同主机的时间保持一致

此处选取阿里云的时间服务器aliyun.com

//1.安装NTP服务
yum install ntp
//2.手动同步时间
ntpdate -u ntp1.aliyun.com
//3.查看时间
date

(4)设置三台机器两两之间SSH密码登录

在完全分布式模式下，集群内任意一台主机可免密登录集群内所有主机，实现两两免密登录。

若是以伪分布模式为基础的机器则需要先删除node,node1,node2主机上原有的.ssh目录

然后分别在node,node1,node2主机上生成公钥/私钥密钥对，再将公钥发送给集群内的所有主机。

//1.在各节点上删除原有.ssh目录，然后重新生成密钥对
rm -rf /root/.ssh //删除原有.ssh目录
ssh-keygen -t rsa  //生成密钥对
cd ~/.ssh  //进入.ssh目录
ll  //查看密钥对

//2.在各节点的.ssh目录下将公钥复制到node节点
cd ~  //进入根目录
ssh-copy-id node  //复制公钥到node节点
ssh-copy-id node1  //复制公钥到node1节点
ssh-copy-id node2  //复制公钥到node2节点

//3.查看node节点上的authorized_key文件
cd .ssh  //进入.ssh目录
more authorized_keys

最低0.47元/天解锁文章