大数据入门(四)Hadoop集群搭建

1、服务器准备

参考:大数据入门(一)环境搭建,VMware15+CentOS8.1配置

2、JDK环境安装

参考:大数据入门(二)Centos8,JDK配置

3、网络环境准备

参考:大数据入门(三)CentOS网络配置

4、集群搭建

(1)准备3台客户机

克隆之前配置好的虚拟机,
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
克隆两次,得到:
在这里插入图片描述
把三个主机都开启,使用命令进行ip修改,这里要注意,如果配置完ip用ip addr查看发现ip没变化,需重启。

#仅需要对克隆的主机进行修改
#修改ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#修改主机名
hostnamectl set-hostname  node2
hostnamectl set-hostname  node3

配置host,使得主机之间实现通过host访问,而不是用ip访问

[root@node1 ~]# vi /etc/hosts
配置主机host
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.21 node1
192.168.100.22 node2
192.168.100.23 node3

在这里插入图片描述
同步配置:

scp -r /etc/hosts root@node2:/etc/
scp -r /etc/hosts root@node3:/etc/

在这里插入图片描述
用ping测试:
在这里插入图片描述
上面在同步配置的时候,还是需要密码才能访问,这里需要设置ssh免密登录,每个主机都要配置:

ssh-keygen -t rsa
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

到此基本的配置已经完成了

下载Hadoop压缩包:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

参考

之后的参考下面的链接
Hadoop(二)CentOS7.5搭建Hadoop2.7.6完全分布式集群
Linux之CentOS7.5安装及克隆

系列:
大数据入门(一)环境搭建,VMware15+CentOS8.1 配置
https://blog.csdn.net/qq_34391511/article/details/104874044
大数据入门(二)Centos8,JDK 配置
https://blog.csdn.net/qq_34391511/article/details/104893587
大数据入门(三)CentOS 网络配置
https://blog.csdn.net/qq_34391511/article/details/104895498
大数据入门(四)Hadoop 集群搭建
https://blog.csdn.net/qq_34391511/article/details/104885278
大数据入门(五)windows 上搭建单机版 Hadoop2.8(踩坑记录)
https://blog.csdn.net/qq_34391511/article/details/104948319
大数据入门(六)win10 对 Hadoop hdfs 的基本操作
https://blog.csdn.net/qq_34391511/article/details/105070955
大数据入门(七)win10 上 eclipse 使用 Hadoop 的配置
https://blog.csdn.net/qq_34391511/article/details/105066667
大数据入门(八)win10 下的 wordcount
https://blog.csdn.net/qq_34391511/article/details/105073076
大数据入门(九)基于 win10 的 Hadoop,java 代码进行 hdfs 操作
https://blog.csdn.net/qq_34391511/article/details/105145380

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值