大数据入门（四）Hadoop集群搭建

1、服务器准备

参考：大数据入门（一）环境搭建，VMware15+CentOS8.1配置

2、JDK环境安装

参考：大数据入门（二）Centos8,JDK配置

3、网络环境准备

参考：大数据入门（三）CentOS网络配置

4、集群搭建

（1）准备3台客户机

克隆之前配置好的虚拟机，




克隆两次，得到：

把三个主机都开启，使用命令进行ip修改，这里要注意，如果配置完ip用ip addr查看发现ip没变化，需重启。

#仅需要对克隆的主机进行修改
#修改ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#修改主机名
hostnamectl set-hostname  node2
hostnamectl set-hostname  node3

配置host，使得主机之间实现通过host访问，而不是用ip访问

[root@node1 ~]# vi /etc/hosts
配置主机host
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.21 node1
192.168.100.22 node2
192.168.100.23 node3

同步配置：

scp -r /etc/hosts root@node2:/etc/
scp -r /etc/hosts root@node3:/etc/

用ping测试：

上面在同步配置的时候，还是需要密码才能访问，这里需要设置ssh免密登录，每个主机都要配置：

ssh-keygen -t rsa
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

到此基本的配置已经完成了

下载Hadoop压缩包：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

参考

之后的参考下面的链接
Hadoop（二）CentOS7.5搭建Hadoop2.7.6完全分布式集群
Linux之CentOS7.5安装及克隆

系列：
大数据入门（一）环境搭建，VMware15+CentOS8.1 配置
https://blog.csdn.net/qq_34391511/article/details/104874044
大数据入门（二）Centos8,JDK 配置
https://blog.csdn.net/qq_34391511/article/details/104893587
大数据入门（三）CentOS 网络配置
https://blog.csdn.net/qq_34391511/article/details/104895498
大数据入门（四）Hadoop 集群搭建
https://blog.csdn.net/qq_34391511/article/details/104885278
大数据入门（五）windows 上搭建单机版 Hadoop2.8（踩坑记录）
https://blog.csdn.net/qq_34391511/article/details/104948319
大数据入门（六）win10 对 Hadoop hdfs 的基本操作
https://blog.csdn.net/qq_34391511/article/details/105070955
大数据入门（七）win10 上 eclipse 使用 Hadoop 的配置
https://blog.csdn.net/qq_34391511/article/details/105066667
大数据入门（八）win10 下的 wordcount
https://blog.csdn.net/qq_34391511/article/details/105073076
大数据入门（九）基于 win10 的 Hadoop，java 代码进行 hdfs 操作
https://blog.csdn.net/qq_34391511/article/details/105145380