在Centos7上搭建Hadoop集群(二)

本文详细介绍了在Centos7上搭建Hadoop集群的步骤,包括上传和解压Hadoop,配置hosts文件,配置Hadoop相关XML文件,设置主从服务器,配置免登录访问,以及启动和验证Hadoop集群的过程。主要使用hadoop-2.7.3版本,确保集群环境正常运行。
摘要由CSDN通过智能技术生成

Hadoop环境准备完成后(即centos7上配置完jdk,并且解决相关影响因素后),进行Hadoop集群环境的搭建,使用java version "1.8.0_40" , hadoop-2.7.3版本进行相关环境的配置。

关于内部配置文件出现格式错乱的可以看我博客:在centos7搭建hadoop集群二  (使用csdn编辑器有点不熟练,所以还请谅解)

[上传hadoop,并解压]

使用Xftp在 第一台台服务器 /user/local/hadoop/ 路径下上传 hadoop-2.7.3.tar.gz (没有hadoop文件夹就创建一个),之后进行解压,先 su root 使用超级用户身份,(后边的hadoop配置完后会拷贝到另外两台)

名令: tar -zxvf hadoop-2.7.3.tar.gz

       解压后使用 rm -f  hadoop-2.7.3.tar.gz  删除多余的安装包减少空间

        image.png

[配置hosts文件]

  1. 查看并更改服务器用户名:

    使用hostname,可以看到三台服务器都是bogon或是其他,但三台服务器名都一样,这是因为其与两台是克隆过去的,因此未来方便我们将三台服务分别命名为 Master,hadoop1,hadoop2,命名方法: vi /etc/hostname

    TIM截图20200510112323.png

    查看ip: 名令: ifconfig

     

    服务器名 Master hadoop1 hadoop2
    ip地址 192.168.63.221 192.168.63.222 192.168.63.223
  2. 修改/etc/hosts文件:

    文件后边添加:

    192.168.63.221 Master

    192.168.63.222 hadoop1

    192.168.63.223 hadoop2

    image.png

    三台服务器都需要更改,目的是为了添加映射

  3. 测试,三台机子互ping:

    特别说明,我们在上篇文章中三台可以互ping通的原因是三台服务器是一样的,我们更改服务器名字后,就发生了改变。因此需要为三台机子添加映射。

 

[配置Hadoop]

在hadoop-2.7.3目录下创建四个目录:tmp、hdfs、hdfs/data、hdfs/name

配置hadoop集群是需要在每一台服务器上都配置,这里我们只在主服务器上完成配置,配置完成之后我们将配置好的hadoop复制到其他服务器即可。

第一台服务器即 Master我们称为主服务器

配置hadoop 中的所有步骤均在主服务器上操作。

可以使用mkdir命令来创建目录。后面我们配置hadoop的时候会用到这些目录,三个目录的作用如下:

tmp目录用来存储hadoop的临时文件,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值