搭建Hadoop分布式集群、HA高可用集群

最新推荐文章于 2022-09-17 22:55:38 发布
最新推荐文章于 2022-09-17 22:55:38 发布
阅读量272 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop分布式集群搭建 HadoopHA高可用集群 hadoop 2.10.0 HDFS集群搭建 HDFS高可用集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/The_Inertia/article/details/103172109
版权

HDFS分布式集群、高可用集群搭建

一.搭建完全分布式（1.x版本）

hdp-01hdp-02hdp-03hdp-04hdp-05
namenode√
secondarynamenode√
datanode√√√√√

Step1:主机相互免秘钥

  • 生成自己的秘钥对
    • ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
  • 将自己的公钥拷贝给别人(自己也需要对自己配置免秘钥)
    • ssh-copy-id root@192.168.183.21 ~/.ssh/id_rsa.pub
    • ssh-copy-id root@192.168.183.22 ~/.ssh/id_rsa.pub
    • ssh-copy-id root@192.168.183.23 ~/.ssh/id_rsa.pub
    • ssh-copy-id root@192.168.183.24 ~/.ssh/id_rsa.pub
    • -ssh-copy-id root@192.168.183.25 ~/.ssh/id_rsa.pub
  • 将对方的地址加入到known_hosts
    • ssh root@hdp-01,输入yes
    • ssh root@hdp-02…
    • ssh root@hdp-03…
    • ssh root@hdp-04
    • ssh root@hdp-05
    • ssh root@localhost
    • ssh root@127.0.0.1

Step2:配置Hadoop

  • 解压hadoop-2.10.0.tar.gz,并安装到/opt/hadoop
    （/opt目录一般为安装自定义软件的目录）

    • tar -zxvf hadoop-2.10.0.tar.gz -C /opt/hadoop

  • 修改JAVA_HOME

    • 修改hadoop-env.sh,mapred-env.sh,yarn-env.sh中的JAVA_HOME

  • 修改core-site.xml

    • vim core-site.xml

    • <property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop/full</value>
</property>

  • 修改hdfs-site.xml

    • vim hdfs-site.xml

    • <property>
<name>dfs.namenode.secondary.http-address</name>
<value>hdp-02:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>hdp-02:50091</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

  • 修改slaves

    • vim slaves

    • hdp-01
hdp-02
hdp-03
hdp-04
hdp-05

  • 修改环境变量

    • vim /etc/profile

    • export JAVA_HOME=/opt/jdk/jdk1.8.0_51
export HADOOP_HOME=/opt/hadoop-2.10.0/hadoop-2.10.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    • source /etc/profile

    • 拷贝环境变量到其他节点

    • [root@hdp-01 ~]scp -r /etc/profile root@hdp-02:/etc/profile

    • [root@hdp-02 ~] source /etc/profile

    • …

  • 依次拷贝Hadoop到其他节点

    • [root@hdp-02 ~]scp -r root@hdp-01:/opt/hadoop/hadoop2.10.0 /opt/hadoop
    • …

  • 格式化NameNode节点

    • [root@hdp-01 ~]hdfs namenode -format

    • [root@hdp-01 ~]start-dfs.sh

  • 浏览HDFS

    • http://192.168.183.21:50070/

  • 关闭集群

    • [1]stop-dfs.sh

二.搭建高可用集群(Hadoop HA)（2.x版本）

hdp-01hdp-02hdp-03hdp-04hdp-05
activenamenode√
standbynamenode√
datanode√√√√√
zookeeper√√√
journalnode√√√

搭建Zookeeper

  • 上传Zookeeper,解压，拷贝

    • [root@hdp-03 ~]# tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/zookeeper

  • 修改配置文件

    • [root@hdp-03 ~]# cd /opt/zookeeper/zookeeper-3.4.6/conf/

    • [root@hdp-03 ~]# cp zoo_sample.cfg zoo.cfg

    • vim zoo.cfg

      • #修改zookeeper数据存放的目录
dataDir=/var/zookeeper  

# 设置服务器内部通信的地址和zk集群的节点
server.1=hdp-03:2888:3888
server.2=hdp-0:2888:3888
server.3=hdp-05:2888:3888

    • 创建myid

      • [hdp-03、hdp-04、hdp-05] mkdir -p /var/sxt/zookeeper

      • [root@hdp-03 ~] echo 1 > /var/zookeeper/myid

      • [root@hdp-04 ~] echo 2 > /var/zookeeper/myid

      • [root@hdp-05 ~] echo 3 > /var/zookeeper/myid

    • 拷贝Zookeeper

      • [hdp-04、hdp-05]scp -r root@hdp-01:/opt/zookeeper/zookeeper-3.4.6 /opt/zookeeper/

    • 设置环境变量

      • 增加ZOOKEEPER_HOME

      • 拷贝到hdp-04、hdp-05，并source

    • 开启集群

      • [hdp-03、hdp-04、hdp-05] zkServer.sh start

搭建Hadoop-HA

  • 在之前搭建的hadoop完全分布式集群（hadoop 1.x 版本的架构）的基础上，再修改以下配置

  • 修改core-site.xml

    • vim core-site.xml

    • <property>
<name>fs.defaultFS</name>
<value>hdfs://myCluster</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>hdp-03:2181,hdp-04:2181,hdp-05:2181</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/sxt/hadoop/ha</value>
</property>

  • 修改hdfs-site.xml

    • vim hdfs-site.xml

    • <property>
<name>dfs.nameservices</name>
<value>myCluster</value>
</property>
<property>
<name>dfs.ha.namenodes.myCluster</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.myCluster.nn1</name>
<value>hdp-01:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.myCluster.nn2</name>
<value>hdp-02:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.myCluster.nn1</name>
<value>hdp-01:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.myCluster.nn2</name>
<value>hdp-02:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hdp-03:8485;hdp-04:8485;hdp-05:8485/myCluster</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/var/hadoop/ha/jn</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.myCluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
<value>shell(true)</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

  • 修改slaves

    • vim slaves

    • hdp-01
hdp-02
hdp-03
hdp-04
hdp-05

  • 将hadoop文件夹下的etc目录拷贝到其他节点

  • 修改环境变量/etc/profile

  • 检查是否有ZOOKEEPER_HOME

  • 单独启动JournalNode线程

    • [hdp-03、hdp-04、hdp-05] hadoop-daemon.sh start journalnode
    • jps
    • cd /var/sxt/hadoop/ha/jn/

  • 格式化主NameNode

    • [root@hdp-01 ~]# hdfs namenode -format
    • [root@hdp-01 ~]# hadoop-daemon.sh start namenode

  • 启动备用NameNode节点

    • [root@hdp-02 ~]# hdfs namenode -bootstrapStandby

  • 启动hdp-03~05上的Zookeeper

    • zkServer.sh start
    • zkServer.sh status

  • 格式化ZKFC

    • [hdp-01、hdp-02] hdfs zkfc -formatZK

  • 重新开启集群时

    • 先开启zookeeper集群，再start-dfs.sh即可
太晚了困
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Hadoop]HDFS-HA高可用完全分布式搭建(基于hadoop-2.6.5的多NameNode形式)
朱同学的博客
07-24 283
HDFS-HA高可用完全分布式搭建 环境背景 1 修改hosts文件 2 免密钥登录 3 安装zookeeper 4 安装hadoop 5 第一次启动 6 之后的启动和关闭 环境背景 各虚拟机的系统时间需要同步, 各节点预先安装好jdk1.7 因为多节点有相同操作,使用xshell的同步命令能简化步骤 使用的各节点虚拟机操作系统为CentOS_6.5 共四个节点node01,...
Hadoop(25)-高可用集群配置,HDFS-HA和YARN-HA
weixin_30856725的博客
12-16 151
一. HA概述 1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。 2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4 . NameNode主要在以下两个方面影响HDFS集群 N...
Hadoop之分布式搭建高可用集群
weixin_48482704的博客
12-10 759
步骤一、Hadoop分布式环境搭建1.虚拟机环境准备2.安装jdk1.83.安装Hadoop 一、Hadoop分布式环境搭建 1.虚拟机环境准备 准备一台虚拟机，操作系统centos7.x 配置虚拟机的静态ip 修改主机名为hadoop101并进行端口映射 [root@master ~]# vi /etc/hostname master [root@master ~]# vi /etc/hosts 192.168.247.200 master 此时需要重启机器 reboot 关闭防火墙 [roo
搭建Hadoop分布式集群(HA)
qq_41311979的博客
02-15 117
搭建Hadoop分布式集群(HA) 1、前提准备 以Hadoop分布式集群(非HA)为基础 2、安装Zookeeper 并启动 安装Zookeeper 3、安装配置 注意：NameNode分别启动在 hadoop102(Active)、hadoop103(standby) 3.1 创建目录 [root@hadoop102 ~]# cd /opt/ [root@hadoop102 opt]# mkdir ha 3.2 复制 Hadoop 包 [root@hadoop102 opt]# cp -r /opt/
Hadoop分布式集群搭建（HA）（爬坑成功！）
qq_41794285的博客
06-18 381
Hadoop分布式集群搭建（HA） 1.准备四台虚拟机（我用的是vbox安装的centos7） 2.安装jdk并配置环境变量 3.使用xshell+xftp上传hadoop-2.7.3文件到Linux系统下，拷贝四份到虚拟机上，或配置免密登录发送文件过去,注意虚拟机之间最好配好彼此免密通信 4.我的四台ip为: 首先修改每台主机名称： vi /etc/hosts ...
搭建高可用的分布式hadoop2.5.2集群　 HDFS HA
weixin_33759269的博客
06-04 123
HA： High Available（高可用集群）本次安装的hadoop2.5.2是64bit的，如果需要请在我之前的博文中规划节点数：（仅考虑HDFS 的HA）HDFS的节点分配：两个NN 且分布在两台主机三个DN节点三个JN节点两个ZKFC节点（必须和NN放在一台主机上）三个ZookeeperMapreduce的节点：一个ResourceManager（替代1.x时的Jo...
Hadoop高可用集群搭建（接完全分布式）
weixin_42487460的博客
07-07 245
Hadoop高可用集群搭建配置 HDFS-HA 集群配置core-site.xml配置hdfs-site.xml启动 HDFS-HA 集群配置 HDFS-HA 自动故障转移YARN-HA配置配置yarn-site.xml启动yarn 在完全分布式基础上继续配置，hadoop集群完全分布式搭建连接： https://blog.csdn.net/weixin_42487460/article/details/107169638 配置 HDFS-HA 集群 配置core-site.xml <configur
Hadoop HA高可用集群搭建
w0823m的博客
02-23 351
集群规划：          主机名              IP                                  安装的软件                                          运行的进程 wm01       192.168.1.201          jdk、hadoop             NameNode、DFSZKFailo
HA高可用完全分布式集群 HDFS搭建
weixin_42119153的博客
09-10 271
在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态。 HDFS高可用（HA）方案就是为了解决上述问题而产生的，在HA HDFS集群中会同时运行两个Namenode，一个作为活动的Namenode（Active），一个作为备份的Namenode（Standby）。备份的Na...
Hadoop分布式安装、HDFS的高可用、yarn的高可用及zookeeper集群搭建
lyy962464的博客
10-02 276
系统环境: RHEL6.5 selinux and iptables is disabled Hadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件 软件版本：hadoop-2.7.3.tar.gz Jdk-7u79-linux-x64.tar.gz ip 主机名 ...
hadoop，普通集群部署，高可用集群部署
narata1的博客
10-22 176
基础配置 切换清华源 备份，将 CentOS-Base.repo 为CentOS-Base.repo.backup cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 编辑 /etc/yum.repos.d/Centos-Base.repo # CentOS-Base.repo # # The mirror system uses the connecting IP address of the cli
Hadoop集群HA高可用搭建
qq_33184697的博客
12-04 239
使用7台虚拟机搭建hadoop与yarn的HA 主机名 安装软件 运行的进程 hadoop1 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) hadoop2 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) hadoop3 jdk、
Hadoop完全分布式集群搭建过程（HA高可用）
hello_heheha的博客
08-21 1015
使用Centos7来进行完全分布式的集群搭建，一般我们用伪分布式的集群就可以了，不需要配置完全分布式的集群 和我们搭建伪分布式集群一样，我们首先要现在好安装包，以及我们需要配置配置JDK，SSH免秘钥登陆，以及Zookeeper分布式的搭建等，下面就开始我们的搭建过程 一、配置Linux虚拟机 1.配置主机名以及主机映射 我们配置集群环境的时候，设置固定的主机名和主机映射能够方便的让我我们使用 修...
【大数据毕设环境配置六】-搭建基于hadoop2.7的高可用（HA）完全分布式集群
叙话代码
03-27 339
效果展示: 一台50070主节点: 查看:点击这里 8088端口 查看:点击这里 高可用说明 至少两个主节点，一个挂掉之后，另外一个仍能够继续工作 将yarn 资源管理权交给一个从节点 基本情况如下: 安装重要说明: 环境变量（略） 配置五个重要的文件（注意对应你的主机名字,直接分享出来，就不贴代码了，网上很多，需要的直接用SCP上传即可） 密码: wbvm...
Hadoop大数据框架研究（3）——Spark的HA高可用性集群环境部署
gisxy的专栏
02-23 1882
       近期对hadoop生态的大数据框架进行了实际的部署测试，并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结，以便相互交流学习。A. Scala下载及配置1.scala-2.11.11.tgz下载：https://www.scala-lang.org/download/2.11.11.html2.传递scala到/home/hadoo...
hadoop HA高可用集群搭建
weixin_53404927的博客
06-01 280
首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快照是干嘛的。最好关机状态下拍。 2.删除完全分布式集群 rm -rf /usr/local/src/hadoop 3.重新解压一个新的hadoop并重命名 tar -zvxf /o...
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
最新发布
wudidahuanggua的博客
09-17 3291
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
搭建Hadoop集群的HA高可用架构（超详细步骤+已验证）
07-05 1833
一、集群的规划 Zookeeper集群： 192.168.182.12 （bigdata12） 192.168.182.13 （bigdata13） 192.168.182.14 （bigdata14） Hadoop集群： 192.168.182.12 （bigdata12） NameNode1主节点 ResourceManager1主节点 Journa...
Hadoop入门之集群高可用HA的搭建及原理图
筑梦者
08-31 3005
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值