hadoop集群搭建

本文详细介绍了如何搭建Hadoop集群,包括基本配置、安装Hadoop、配置环境变量、创建数据目录、修改配置文件、启动服务等步骤,确保HDFS和YARN的正常运行,并提供了访问HDFS和YARN的端口号。
摘要由CSDN通过智能技术生成

一、基本配置(所有节点)

(一)配置静态网络
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcgf-ens192

在这里插入图片描述
开启网卡服务

[root@localhost ~]# service network start
(二)修改主机名和修改host文件
[root@localhost ~]# hostnamectl --static set-hostname master
[root@localhost ~]# hostnamectl

在这里插入图片描述

[root@localhost ~]# vi /etc/hosts

在这里插入图片描述
在master直接将hosts文件发送给其他两个节点

[root@localhost ~]# scp -r /etc/hosts slave1:/etc/hosts
[root@localhost ~]# scp -r /etc/hosts slave2:/etc/hosts
(三)禁用SELINUX
[root@localhost ~]# vi /etc/sysconfig/selinux

在这里插入图片描述
同样将文件发给其他两个节点

[root@localhost ~]# scp -r /etc/sysconfig/selinux slave1:/etc/sysconfig/
[root@localhost ~]# scp -r /etc/sysconfig/selinux slave2:/etc/sysconfig/
(四)关闭防火墙、并取消开机自启动
[root@localhost ~]# systemctl stop firewalld.service 
[root@localhost ~]# systemctl disable firewalld.service

在这里插入图片描述

(五)配置NTP时间同步(集群所有节点)
[root@localhost ~]# yum install chrony -y

下载完成后 修改chrony.conf配置文件

[root@localhost ~]# vi /etc/chrony.conf

master 节点
在这里插入图片描述
slave1和slave2 节点
在这里插入图片描述
启动服务并设置开机自启动

[root@localhost ~]# systemctl start chronyd.service
[root@localhost ~]# systemctl enable chronyd.service

删除本地时间分区: rm /etc/localtime
创建时间分区链接文件: ln -s /usr/share/zoneinfo/Universal /etc/localtime
查看时间: timedatectl status

[root@localhost ~]#  rm /etc/localtime
rm:是否删除符号链接 "/etc/localtime"?y
[root@localhost ~]# ln -s 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值