Hadoop,三个节点,安装详解(二)

本文详细介绍了如何在三个节点上安装和配置Hadoop3.2.4,包括环境变量设置、SSH分发文件、NameNode格式化、HDFS和YARN服务启动,以及各节点上的关键进程检查。
摘要由CSDN通过智能技术生成

安装教程看:Hadoop,三个节点,详解(一)-CSDN博客

  1. 远程分发

    cd /opt/software/
    scp -r hadoop-3.2.4/ root@hadoop02:/opt/software
    scp -r hadoop-3.2.4/ root@hadoop03:/opt/software
  2. 配置环境变量并发送

    # 编辑文件
    vim /etc/profile.d/hadoophome.sh
    # 在文件中添加
    export HADOOP_HOME=/opt/software/hadoop-3.2.4
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    # 保存退出,生效
    source /etc/profile.d/hadoophome.sh
    # 测试
    hadoop version
    # 远程分发
    scp /etc/profile.d/hadoophome.sh root@hadoop02:/etc/profile.d
    scp /etc/profile.d/hadoophome.sh root@hadoop03:/etc/profile.d
    # 分发完成之后,另外两个节点分别source分别测试
  3. 第一次启动之前,需要在第一个节点上格式化NameNode

    hdfs namenode -format
    如果出现Storage directory /opt/software/hadoop-3.2.4/tmp/dfs/name has been successfully formatted就表示格式化成功

  4. 在第一个节点上启动HDFS

    start-dfs.sh
  5. 在第三个节点上启动YARN

    start-yarn.sh
  6. 在第二个节点上启动历史服务器

    mapred --daemon start historyserver
  7. 查看进程

    jps
    # 第一个节点上有三个进程
    NameNode
    DataNode
    NodeManager
    # 第二个节点上
    SecondaryNameNode
    DataNode
    NodeManager
    JobHistoryServer
    # 第三个节点上
    ResourceManager
    NodeManager
    DataNode

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值