centos7安装配置Hadoop集群

最新推荐文章于 2024-07-28 22:16:41 发布

星巴克拿铁咖啡

最新推荐文章于 2024-07-28 22:16:41 发布

阅读量3.4w

点赞数 41

分类专栏： Linux 文章标签： centos hadoop

本文链接：https://blog.csdn.net/u013457387/article/details/87856770

版权

本文详述了在CentOS7环境下，如何下载安装Hadoop3.2及JAVA，配置3台虚拟机的SSH免密登录，安装JAVA环境，以及Hadoop集群的搭建和启动。包括Hadoop相关配置文件的修改，如core-site.xml，hadoop-env.sh，hdfs-site.xml等，并解决了启动过程中的报错问题。

摘要由CSDN通过智能技术生成

1、下载Hadoop以及JAVA

本文用的是hadoop-3.2.0
下载地址：
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

本文用的是JAVA1.81
下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2、安装3台虚拟机并实现SSH免密登录

（1）安装三台虚拟机centos7

第一台正常安装，后两台做克隆。配置好IP地址，关闭防火墙跟SELINUX。

这三台机器的用户名以及对应的IP
192.168.10.198 server1
192.168.10.199 server2
192.168.10.200 server3

（2）修改用户名以及对应的IP

# vi /etc/hostname

改为server1

# vi /etc/hosts

另外两台虚拟机也按同样的设置，例如：centos7 2 为server2

设置完成后每台虚拟机都需要重启，重启生效。

配置完成后使用ping命令检查这3个机器是否相互ping得通，以server1为例，在什么执行命令：

# ping -c 3 server2

（3）进行SSH免密互登设置

#ssh-keygen -t dsa

在命令执行过程中敲击两遍回车，然后在/root/.ssh文件下生成id_dsa id_dsa.pub
在该文件下建立一个authorized_keys文件，将id_dsa.pub文件内容拷贝到authorized_keys文件中

另外两个虚拟机也执行 #ssh-keygen -t dsa操作，并分别将id_dsa.pub内容拷贝到第一台虚拟机的authorized_keys文件中。将第一台的authorized_keys文件拷贝到另外两台虚拟机的/root/.ssh/ 下面。

通过命令# ssh server2 看是否可以免密互登。通过命令exit退出。