完全分布式的搭建(三台)

本文详细介绍了如何在三台服务器上搭建完全分布式的Hadoop集群,包括集群划分、SSH免密登录设置、JDK的部署、Hadoop的配置与启动、HDFS与YARN的管理以及相关命令操作。主要涉及HDFS的namenode、datanode、secondary namenode,以及YARN的nodemanager和resourcemanager角色。
摘要由CSDN通过智能技术生成

1.集群划分?
        hdfs: 
            bigdata22  namenode    datanode 
            bigdata23                datanode
            bigdata24    snn            datanode
        yarn:
            bigdata22                              nodemanager 
            bigdata23    resourcemanager            nodemanager
            bigdata24                            nodemanager 
    注意: 
            snn 机器选择参数
            resourcemanager 机器选择参数 
    ssh 免密登录都做 
    linux下文件分发 
        scp :
            [hadoop@bigdata21 ~]$ scp hadoop@bigdata21:./1.log hadoop@bigdata22:~
        raync 

    2.ssh 免密登录 
        (1)ssh-keygen 【三台机器都要做】
        (2)拷贝公钥 【三台机器都要做】
            ssh-copy-id xxx 
            ssh-copy-id bigdata22
            ssh-copy-id bigdata23
            ssh-copy-id bigdata24
        (3)验证 免密登录 

    3.部署jdk【三台都要部署】
        (1)先部署一台 =》 分发到其他机器
            以bigdata22 为例 部署+分发 
        (2)文件分发脚本 
    #判断参数的个数 
    if [ $# -lt 1 ];then
        echo "参数不足"
        exit;
    fi

    for host in bigdata22 bigdata23 bigdata24
    do
        #todo 分发文件 
        echo "======${host}====="

        for  file in $@
        do
            #判断文件是否存在
            if [ -e $file ];then

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值