Centos7.5搭建Hadoop2.8.5完全分布式集群部署

本文详细介绍了在Centos7.5系统上搭建Hadoop2.8.5完全分布式集群的过程,包括环境设置(如配置hosts,安装jdk,关闭防火墙和SELinux,设置SSH免密),hadoop集群的安装配置(下载二进制文件,配置core-site.xml等文件),以及启动和验证集群的方法。
摘要由CSDN通过智能技术生成

一、基础环境设置


1. 准备4台客户机(VMware虚拟机)

系统版本:Centos7.5

节点配置:

192.168.208.128 ——Master

192.168.208.129 ——Slaver-1

192.168.208.130 ——Slaver-2

192.168.208.130 ——Slaver-3


2. 配置hosts文件,使4台客户机能够以主机名相互访问

[root@Master ~]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.208.128 Master
192.168.208.129 Slaver-1
192.168.208.130 Slaver-2
192.168.208.131 Slaver-3 

# 将hosts文件传送给其它3台客户机
[root@Master ~]# scp -r /etc/hosts root@Slaver-1:/etc
[root@Master ~]# scp -r /etc/hosts root@Slaver-2:/etc
[root@Master ~]# scp -r /etc/hosts root@Slaver-3:/etc

3. 为4台客户机配置jdk环境

我们选择配置jdk1.8.0_181,点击此处下载

[root@Master ~]# wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

# 解压
[root@Master ~]# tar -xzvf jdk-8u181-linux-x64.tar.gz

[root@Master ~]# mkdir /usr/local/java # 创建jdk存放目录
[root@Master ~]# mv jdk1.8.0_181/ /usr/local/java  # 将解压缩文件转移至存放目录

# 配置jdk环境

[root@Master ~]# vi /etc/profile
# 在文件末尾添加如下内容
# java
export JAVA_HOME=/usr/local/java/jdk1.8.0_181 # 注意,要与刚刚所创建的目录匹配
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# 使jdk配置文件生效
[root@Master ~]# source /etc/profile

# 测试jdk环境配置是否成功,如输出如下内容,则表示成功
[root@Master ~]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

4. 关闭防火墙,SELinux

a. iptables
# 临时关闭
[root@Master ~]# service iptables stop

# 禁止开机启动
[root@Master ~]# chkconfig iptables off
b.firewalld

CentOS7版本后防火墙默认使用firewalld,默认是没有iptables的,所以关闭防火墙的命令如下:

# 临时关闭
[root@Master ~]# systemctl stop firewalld

# 禁止开机启动,输出如下,则表示禁止成功
[root@Master ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
c.关闭SELinux
# 永久关闭SELinux
[root@Master ~]# vi /etc/selinux/config
#disabled - No SELinux policy is loaded.
SELINUX=disabled  # 此处将SELINUX=enforcing改为SELINUX=disabled
# SELINUXTYPE= can take one of three two values:

# 修改SELinux配置后,需重启客户机才能生效
[root@Master ~]# reboot

# 重启之后,查看SELinux状态
[root@Master ~]# /usr/sbin/sestatus 
SELinux status: disabled  # 如果输出如是,则表示SELinux永久关闭成功

5. 设置SSH免密钥

关于ssh免密码的设置,要求每两台主机之间设置免密码,自己的主机与自己的主机之间也要求设置免密码。在这里,为了避免后面的各种权限问题,我们直接使用root账户来设置面密钥登陆。

[root@Master ~]$ ssh-keygen -t rsa
[root@Master ~]$ ssh-copy-id node-1
[root@Master ~]$ ssh-copy-id node-2
[root@Master ~
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值