hadoop2.x高可用集群的搭建

最新推荐文章于 2022-07-08 15:54:01 发布

Apache-Wang

最新推荐文章于 2022-07-08 15:54:01 发布

阅读量325

点赞数

分类专栏：大数据文章标签： hadoop 集群 zookeeper

本文链接：https://blog.csdn.net/firstchange/article/details/78567810

版权

本文详细介绍了如何在四台虚拟机上搭建hadoop2.0高可用集群，包括zookeeper集群的配置，以及hadoop相关配置文件如hdfs-site.xml和core-site.xml的修改，最后启动并检查集群。

摘要由CSDN通过智能技术生成

hadoop2.0集群的搭建

使用四台虚拟物理机搭建集群

集群各角色的分配

搭zookeeper集群

解压
    解压zookeeper包
修改文件名
    修改zookeeper的配置文件，将其重命名
修改文件
    修改/etc/profile，加上zookeeper的bin目录
设置路径
    将dataDir目录改为自己规划的目录
追加
    在文件最后加上zookeeper体系三个节点的ip:2888:3888
创建
    手动创建zk，并创建文件myid，在不同节点上用不同的数字命名
开启
    开启zookeeper进程
        zkServer.sh start
        查看进程状态
            zkServer.status

修改hadoop配置文件

修改hdfs-site.xml

        命名nameservices
        命名两个NameNode的名称
        分别指定两个NameNode的rpc地址-》主机名：8020
        分别指定两个NameNode的http地址-》主机名：50070，用于浏览器查看集群状态
        配置edits log的地址，协议是qjournal，jnn分布的主机名：8485，加上一个路径，用于区分不同集群的edits log文件
        配置本地edits log文件存放地址
        dfs.client.failover.proxy.provider.mycluster
        dfs.ha.fencing.methods
        dfs.