Hadoop完全分布集群搭建

完全分布集群和伪分布集群不同在于:

完全分布是有很多个节点组成
伪分布是只在一个节点上配置
  1. 完全分布集群的搭建

    首先需要准备四台虚拟机,配置文件和伪分布相同
    伪分布搭建点这里
    我们只需要在主节点上进行操作就可以

  2. 主节点的配置

    四台虚拟机都要配置!!!
    设置的是Datanode的启动位置
    Hadoop安装好后,找到etc目录下的hadoop
    vi slaves配置Datanode映射 把其余三台虚拟机的主机名写入保存退出即可
    在这里插入图片描述

    vi hdfs-site.xml配置备份个数和secondaryNamenode持久化
    在这里插入图片描述
    vi core-site.xml配置主节点namenode和namenode启动信息的存放点
    在这里插入图片描述

  3. 配置免密登陆
    在cd /etc/hosts配置多个节点的网络映射,写自己四台虚拟机的网络IP和主机名
    在这里插入图片描述
    多节点之间免密配置
    配置免密登录
    在每一个节点上运行ssh-keygen -t rsa 产生他们自己的密钥
    在主节点执行
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名

    注:将某一个节点的文件发送到其他的节点上
    scp /etc/hosts root@192.168.79.124:/etc
    这里要写自己其他虚拟机的ip

  4. 将修改完成后的文件发送到其他的节点上
    scp -r hadoop-cluster root@node02:/opt/software

  5. 格式化,让配置文件生效
    在桌面启动要配置Hadoop环境变量!!!
    如果没有配置,去Hadoop下的bin去启动
    hdfs namenode -format

  6. 启动集群

输入主节点的ip:50070出现页面搭建成功
在这里插入图片描述

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值