hadoop3.0全分布式集群搭建

本文详述了使用CentOS7和hadoop3.0.3搭建1+3台全分布式集群的步骤,包括环境配置、集群设置、免密登录、HDFS和YARN的启动与停止,以及解决遇到的问题,如slaves更名、datanode启动失败等。
摘要由CSDN通过智能技术生成

个人博客原文链接

hadoop3.0的全分布式搭建折腾了好久,因为网上基本上都是2.x的搭建教程,期间有好几个坑比较难弄,不过最后还是都解决了,下面简要记录笔者的搭建过程,以及遇到的坑。

搭建环境:CentOS7+hadoop3.0.3+jdk8
集群配置:1台主节点+3台子节点
主节点:hadoop1
子节点:hadoop2 hadoop3 hadoop4

前提准备

  1. 安装scp服务
  2. 安装配置jdk
  3. 配置静态ip地址
    vi /etc/sysconfig/network-scripts/ifcfg-ens33
    在这里插入图片描述service network restart
    ipconfig
  4. 修改主机名
    vi /etc/sysconfig/network
    添加:
    NETWORKING=yes
    HOSTNAME=XXX
  5. 配置主机名和ip地址映射
    vi /etc/hosts
  6. 关闭防火墙,设置开机不自启动
    systemct
  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值