CentOS hadoop 分布式集群的搭建

从伪分布式到分布式,只差两个配置文件(slaves、masters)的事;

定集群中的全部节点,彼此之间已实现免密码登录(共 An1n 对关系),节点都配置好hadoop(每个节点上的伪分布式已搭建完毕,伪分布式的搭建参见 CentOS hadoop 伪分布式安装步骤 )和jdk,以及环境变量的设置。环境设置完毕之后,此时我们开始集群的搭建与部署。

  • (1)主从节点的确定,也即分布式集群结构的确定(落实到真正的操作,其实只是主节点的配置文件/conf/…

  • (2)修改主节点中 hadoop 的配置文件,也即/conf/slaves文件(设置从节点),如果我们想将 secondarynamenode设置到其他节点,则通过/conf/masters设置(将你要设置为secondarynamenode的主机的主机名添加进masters文件)。

  • (3)此时分布式结构即已搭建完毕,便可进行格式化(初始化),然后启动

hadoop namenode -format
start-all.sh
                        # 这就是环境变量设置的好处
                        # 执行start-all.sh的脚本,
                        # 并不需要我们每次都跳转到`/hadoop/bin/`下,才可执行`start-all.sh`

根据输出信息,我们可获知hadoop集群的启动顺序:

  • (1) 在主节点(如hadoop0)上启动,namenode,并向/usr/local/hadoop0/logs/中填写相关日志信息;

    最终hadoop会在其根目录下创建logs文件夹(如果没有的话),新建并将启动信息(成功失败与否)填写进如下的配置文件:

    hadoop-root-jobtracker-hadoop0.log
    hadoop-root-jobtracker-hadoop0.out
    hadoop-root-namenode-hadoop0.out
    hadoop-root-namenode-hadoop0.log
    hadoop-root-secondarynamenode-hadoop0.log
    hadoop-root-secondarynamenode-hadoop0.out

  • (2) 在各从节点(如hadoop1、hadoop2)分别先后启动各自的datanode,

    自然从节点下的日志信息关于两方面(datanode、TaskTracker):

    hadoop-root-datanode-hadoop1.log
    hadoop-root-datanode-hadoop1.out
    hadoop-root-tasktracker-hadoop1.log
    hadoop-root-tasktracker-hadoop1.out

  • (3) 在主节点上启动 secondarynamenode,JobTracker

  • (4) 在各从节点分别先后启动各自的 TaskTracker

使用 stop-all.sh 关闭的顺序主要为:

stopping jobtracker(hadoop0,主节点)
hadoop1: stopping tasktracker
hadoop2: stopping tasktracker
stopping namenode(hadoop0,主节点)
hadoop2: stopping datanode
hadoop1: stopping datanode
localhost: stopping secondarynamenode(hadoop0,主节点)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五道口纳什

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值