Hadoop-2.5.1 分布式部署,Centos7

本文提供了一篇关于在Centos7环境下,详细部署Hadoop-2.5.1分布式集群的步骤,包括设置主机名、用户权限,配置虚拟机网络互通,安装JDK,配置SSH免登录,安装并配置Hadoop,以及启动和验证集群运行状态。
摘要由CSDN通过智能技术生成

由于现在需要实际的Hadoop分布式环境以及我当初的一篇伪分布的环境搭建文章不够细致,所以在这里从新写一篇
环境准备:
Centos7

部署节点:
192.168.192.11 master
192.168.192.12 slave1
192.168.192.13 slave2

以下配置内容,大部分在master节点主机上
一、Centos7 环境配置
1、修改主机名

$hostnamectl set-hostname master

注:查看主机名

$hostnamectl

2.查看当前用户名并且赋予管理员权限

$whoami
$su root
$chmod -v u+w /etc/sudoers

root    ALL=(ALL)       ALL

下添加一行

Hadoop    ALL=(ALL)       ALL          //这一行是添加的
$chmod -v u-w /etc/sudoers

二、设置虚拟机相互联通
这里我就不细说了,大家可以上网找下相关内容,我这里是使用NAT模式。我只说几点我遇到的注意事项
1.设置Vmnet8网卡必须在本机的IP段中,比如
主机为 192.168.14.17
则网卡必须为:192.168.xxx.xxx
2.虚拟机虚拟网络设置时,既要保持与网卡IP段一致,也要注意,子网IP最后一个数字只能为0,比如,192.168.192.0
(这点可能还需要再验证下,但是我出现问题的时候,确实是这样解决的)

三、Hadoop环境搭建
1.安装JDK
1)查看是否有自带JDK

$java -version

2) 如果有查看JDK信息并卸载自带JDK
javapackages-tools-3.4.1-6.el7_0.noarch
python-javapackages-3.4.1-6.el7_0.noarch
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
tzdata-java-2015a-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

$sudo yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
$sudo yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

3)安装自带JDK

$tar -zxvf  jdk-7u75-linux-x64.gz

编辑 /etc/profile

$sudo vi /etc/profile

添加如下内容:

export JAVA_HOME=/home/hadoop/java/jdk1.7.0_75
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

生效配置

$source 
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值