手把手教会你搭建hadoop集群

最新推荐文章于 2023-11-16 23:09:21 发布

weixin_46285053

最新推荐文章于 2023-11-16 23:09:21 发布

阅读量709

点赞数

文章标签： hadoop hdfs 大数据 linux

本文链接：https://blog.csdn.net/weixin_46285053/article/details/127159013

版权

本文详细介绍了如何从头开始搭建Hadoop集群，包括安装CentOS7、配置网络、同步时间、设置SSH免密登录，以及配置HDFS、MapReduce和Yarn的相关参数。最后通过jps检查启动情况，并提供了查看集群状态的网页端口。

摘要由CSDN通过智能技术生成

在搭建集群时我们要先下载文件几个文件 centos安装包，hadoop和jdk

链接：https://pan.baidu.com/s/1K_Go1bV8nL35Hf2OhLvKwA?pwd=bhtx 
提取码：bhtx

先将文件下载，然后安装centos7

安装完成后需要设网络

vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改以下参数

BOOTPROTO=static
ONEBOOT=yes
## 在末尾添加
IPADDR=192.168.80.181
NETMASK=255.255.255.0
GATEWAY=192.168.80.2
DNS1=8.8.8.8

重启网络

systemctl restart network

检查网络是否畅通

ping www.baidu.com

使用xshell 连接

下载必要的模块
yum install -y vim ntpdate net-tools wget
配置好网络以后我们发现centos的时间和本地的时间不同
date
同步网络时间
ntpdate us.pool.ntp.org
将系统时间同步到硬件
hwclock --systohc
保存时钟
clock -w
查看时间
date