hadoop集群搭建

本文详细介绍了如何在虚拟机环境下搭建Hadoop 2.7.4集群。包括设置主机名、配置时钟同步、关闭防火墙、实现SSH免密登录、安装JDK、部署Hadoop以及配置相关XML文件等步骤,最终成功启动Hadoop集群并验证其运行状态。
摘要由CSDN通过智能技术生成

实验环境:虚拟机数量:3

jdk版本:jdb1.8.0(1.7版本以上就可以)

hadoop版本:hadoop2.7.4

运行内存:8G

1.0准备好三台虚拟机

1.1打开一个终端,并查看IP地址,如没有IP地址,修改/etc/sysconfig/network/ifcfg-eno16777736文件,将ONBOOT=yes在重启一下网络服务就好了

1.2ping一个外网网址,确保能够ping,两台节点都要去确保ping通

1.3配置主机名(各节点虚拟机都执行此操作,主机名分别为master、slave)以下操作步骤需要root权限,所以要先切换到root用户,这里以master用户为例,用vi编辑器编辑,检测主机名是否修改成功,如下图所示

1.4配置时钟同步(使用root权限,各个虚拟机都需要执行此步骤)进入插入模式,输入下面内容

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

手动同步时间,直接在在terminal运行下main的命令

1.5关闭防火墙(使用root权限,各个虚拟机都需要执行此操作)

1.6编辑主机名列表,

1.7配置免密登陆

   1.7.1在master节点上,先从root用户退到普通用户zkpk,在终端生成密钥,命令如下(一路回车完成密钥生成)

1.7.2生成密钥进入用户根目录.ssh字母来中

1.7.3进行复制公钥文件,执行ll命令会看到下图文件列表

1.7.4修改authorized_keys文件的权限,命令如下chmod 600 ~/.ssh/authorized

1.7.5将专用密钥添加到ssh-agent的高速缓存中(注:如果出现错误,执行ssh-agent bash ,在添加,就可以了)

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值