hadoop高可靠集群搭建

最新推荐文章于 2024-07-21 22:44:45 发布
置顶 最新推荐文章于 2024-07-21 22:44:45 发布
阅读量780 收藏 8
点赞数
分类专栏： Hadoop 文章标签： 大数据 hadoop hadoop集群 HA hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snail_bing/article/details/81774887
版权

HA hadoop集群完美搭建

此博文可以堪称史上最全、宇宙最详细的HA hadoop集群搭建攻略，是本人呕心制作，亲自搭建完成后的全过程笔录。

在看下面内容之前，希望你先去看一下这几篇博文，熟悉整个hadoop集群环境搭建流程：

linux系统jdk安装教程。

zookeeper集群搭建教程。

hadoop伪分布式集群环境搭建教程。

ok，看完这几篇博文之后相信你已经了解并熟悉了hadoop集群搭建的主要流程，那么我们开始一起来搭建我们的终极hadoop高可用集群环境。下面是一波疯狂操作，请保持良好的注意力。

集群节点分配

准备6台服务器或虚拟机，分配每个节点的资源和需要安装的服务：

Park01

Zookeeper  

NameNode (active)

Resourcemanager (active)

Park02

Zookeeper

NameNode (standby)

Park03

Zookeeper

ResourceManager (standby)

Park04

DataNode

NodeManager

JournalNode

Park05

DataNode

NodeManager

JournalNode

Park06

DataNode

NodeManager

JournalNode

安装步骤

1、永久关闭每台机器的防火墙

执行：

service iptables stop

再次执行：

chkconfig iptables off

2、为每台机器配置主机名以及hosts文件

配置主机名，执行：

 vim  /etc/sysconfig/network

然后执行 ：hostname  主机名，达到不重启生效目的。

配置hosts文件，执行：

vim /etc/hosts

 示列：

127.0.0.1   localhost

::1         localhost

192.168.234.21 hadoop01

192.168.234.22 hadoop02

192.168.234.23 hadoop03

192.168.234.24 hadoop04

192.168.234.25 hadoop05

192.168.234.26 hadoop06

3、通过远程命令将配置好的hosts文件 scp到其他5台节点上

执行：

scp  /etc/hosts  hadoop02: /etc

4、为每台机器配置ssh免秘钥登录

执行：

ssh-keygen
  ssh-copy-id root@hadoop01   #分别发送到6台节点上

详细过程参见博文：SSH免密登录配置。 

5、前三台机器安装和配置zookeeper

配置conf目录下的zoo.cfg以及创建myid文件，zookeeper集群具体安装步骤参见博文：zookeeper集群搭建教程，这里不做赘述。

6、为每台机器安装jdk和配置jdk环境

jdk安装及环境变量配置参见：linux系统jdk安装教程。

7、为每台机器配置主机名，然后每台机器重启，（如果不重启，也可以配合：hostname  hadoop01生效）。

执行： vim /etc/sysconfig/network 进行编辑

8、安装和配置01节点的hadoop

解压安装hadoop安装包，然后进行下面的配置。

配置hadoop-env.sh

配置jdk安装所在目录，配置hadoop配置文件所在目录。

配置core-site.xml

<configuration>

<!--用来指定hdfs的老大，ns为固定属性名，表示两个namenode-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://ns</value>

</property>

<!--用来指定hadoop运行时产生文件的存放目录-->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/software/hadoop-2.7.1/tmp</value>

</property>

<!--执行zookeeper地址-->

<property>

<name>ha.zookeeper.quorum</name>

<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>

</property>

</configuration>

配置hdfs-site.xml
 

<configuration>

<!--执行hdfs的nameservice为ns,和core-site.xml保持一致-->

<property>

<name>dfs.nameservices</name>

<value>ns</value>

</property>

<!--ns下有两个namenode,分别是nn1,nn2-->

<property>

<name>dfs.ha.namenodes.ns</name>

<value>nn1,nn2</value>

</property>

<!--nn1的RPC通信地址-->

<property>

<name>dfs.namenode.rpc-address.ns.nn1</name>

<value>hadoop01:9000</value>

</property>

<!--nn1的http通信地址-->

<property>

<name>dfs.namenode.http-address.ns.nn1</name>

<value>hadoop01:50070</value>

</property>

<!--nn2的RPC通信地址-->

<property>

<name>dfs.namenode.rpc-address.ns.nn2</name>

<value>hadoop02:9000</value>

</property>

<!--nn2的http通信地址-->

<property>

<name>dfs.namenode.http-address.ns.nn2</name>

<value>hadoop02:50070</value>

</property>

<!--指定namenode的元数据在JournalNode上的存放位置,这样，namenode2可以从jn集群里获取最新的namenode的信息，达到热备的效果-->

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns</value>

</property>

<!--指定JournalNode存放数据的位置-->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/software/hadoop-2.7.1/journal</value>

</property>

<!--开启namenode故障时自动切换-->

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<!--配置切换的实现方式-->

<property>

<name>dfs.client.failover.proxy.provider.ns</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<!--配置隔离机制-->

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<!--配置隔离机制的ssh登录秘钥所在的位置-->

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_rsa</value>

</property>



<!--配置namenode数据存放的位置,可以不配置，如果不配置，默认用的是core-site.xml里配置的hadoop.tmp.dir的路径-->

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///home/software/hadoop-2.7.1/tmp/namenode</value>

</property>

<!--配置datanode数据存放的位置,可以不配置，如果不配置，默认用的是core-site.xml里配置的hadoop.tmp.dir的路径-->

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///home/software/hadoop-2.7.1/tmp/datanode</value>

</property>


<!--配置block副本数量-->

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件-->

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>



</configuration>

配置mapred-site.xml

<configuration>

<property>

<!--指定mapreduce运行在yarn上-->

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

配置yarn-site.xml

<configuration>

<!-- 开启YARN HA -->

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>



<!-- 指定两个resourcemanager的名称 -->

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>rm1,rm2</value>

</property>



<!-- 配置rm1，rm2的主机 -->

<property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>hadoop01</value>

</property>



<property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>hadoop03</value>

</property>



<!--开启yarn恢复机制-->

<property>

<name>yarn.resourcemanager.recovery.enabled</name>

<value>true</value>

</property>



<!--执行rm恢复机制实现类-->

<property>

<name>yarn.resourcemanager.store.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>



<!-- 配置zookeeper的地址 -->  

<property>

<name>yarn.resourcemanager.zk-address</name>

<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>

<description>For multiple zk services, separate them with comma</description>

</property>



<!-- 指定YARN HA的名称 -->

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>yarn-ha</value>

</property>



<property>

<!--指定yarn的老大 resoucemanager的地址-->

<name>yarn.resourcemanager.hostname</name>

<value>hadoop03</value>

</property>

<property>

<!--NodeManager获取数据的方式-->

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

配置slaves文件

hadoop04
hadoop05
hadoop06

配置hadoop的环境变量（可不配）

JAVA_HOME=/home/software/jdk1.8

HADOOP_HOME=/home/software/hadoop-2.7.1

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export JAVA_HOME PATH CLASSPATH HADOOP_HOME

9、根据配置文件，创建相关的文件夹，用来存放对应数据

在hadoop-2.7.1目录下创建:

①journal目录

②创建tmp目录

③在tmp目录下，分别创建namenode目录和datanode目录

10、通过scp 命令，将hadoop安装目录远程copy到其他5台机器上

比如向hadoop02节点传输：

scp -r  hadoop-2.7.1  hadoop02:/home/software

Hadoop集群启动

1、启动zookeeper集群

在Zookeeper安装目录的bin目录下执行：

sh zkServer.sh start

2、格式化zookeeper

在zk的leader节点上执行：

hdfs zkfc -formatZK

这个指令的作用是在zookeeper集群上生成hadoop-ha节点（ns节点）。

注：3--9步可以用一步来替代：进入hadoop安装目录的sbin目录，执行：start-dfs.sh 。但建议还是按部就班来执行，比较可靠。

3、启动journalnode集群

在04、05、06节点上，切换到hadoop安装目录的bin目录下，执行：

sh hadoop-daemons.sh start journalnode

然后执行jps命令查看：

4、格式化01节点的namenode

在01节点上执行：

hadoop namenode -format

5、启动01节点的namenode

在01节点上执行：

hadoop-daemon.sh start namenode

 

6、把02节点的 namenode节点变为standby namenode节点

在02节点上执行：

hdfs namenode  -bootstrapStandby

 

7、启动02节点的namenode节点

在02节点上执行：

hadoop-daemon.sh start namenode

8、在04,05,06节点上启动datanode节点

在04,05,06节点上执行：

 hadoop-daemon.sh start datanode

9、启动zkfc（启动FalioverControllerActive)

在01,02节点上执行：

hadoop-daemon.sh start zkfc

 

10、在01节点上启动 主Resourcemanager

在01节点上执行：

start-yarn.sh

启动成功后，04,05,06节点上应该有nodemanager 的进程。

11、在03节点上启动副 Resoucemanager

在03节点上执行：

yarn-daemon.sh start resourcemanager

测试

输入地址：http://192.168.234.21:50070，查看namenode的信息，是active状态的

输入地址：http://192.168.234.22:50070，查看namenode的信息，是standby状态

然后停掉01节点的namenode,此时返现standby的namenode变为active。

查看yarn的管理地址

http://192.168.234.21:8088（节点01的8088端口）

以上就是HA hadoop集群搭建的全部内容，呕心制作，如有疑问和建议请留言。

版权所有，转载请说明转载地址。

snail_bing
关注
专栏目录
一份超详细的高可用分布式Hadoop集群搭建教程
qhj0423的博客
05-01 494
Hadoop的搭建有三种方式，单机版适合开发调试；伪分布式版，适合模拟集群学习；完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，两个master节点，三个worker节点为例来讲解。 部署详情部署前准备配置ZooKeeper集群配置Hadoop（Hdfs，Yarn） 部署前准备 节点详情： IP HostName 角色分配 10.250.76.17...
Hadoop高可用集群搭建步骤
weixin_51104731的博客
07-27 1863
搭建hadoo高可用集群的详细步骤
Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
xiatianba的专栏
07-13 241
一.概述 转载请出自出处：http://eksliang.iteye.com/blog/2226986 1.1 hadoop1.0的单点问题 Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不...
Hadoop高可用集群搭建（接完全分布式）
weixin_42487460的博客
07-07 361
Hadoop高可用集群搭建配置 HDFS-HA 集群配置core-site.xml配置hdfs-site.xml启动 HDFS-HA 集群配置 HDFS-HA 自动故障转移YARN-HA配置配置yarn-site.xml启动yarn 在完全分布式基础上继续配置，hadoop集群完全分布式搭建连接： https://blog.csdn.net/weixin_42487460/article/details/107169638 配置 HDFS-HA 集群 配置core-site.xml <configur
Hadoop全分布式集群搭建（全网最详细，保姆级教程）
m0_52931616的博客
09-10 1980
Hadoop全分布式集群搭建
HA机制的大数据集群的搭建过程
Magician的博客
09-21 689
集群规划 说明： 1、在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数...
基于docker的hadoop高可靠集群搭建
02-22
基于docker构建hadoop分布式集群，可以适用于swarm云，k8s云，mesos云。
一篇搞定，Hadoop高可用集群搭建及API调用，超详细
最新发布
mrcool2012的博客
07-21 879
在Hadoop1中NameNode存在一个单点故障问题，如果NameNode所在的机器发生故障，整个集群就将不可用(Hadoop1中虽然有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是NameNode的一个助理，协助NameNode工作，SecorndaryNameNode会对fsimage和edits文件进行合并，并推送给NameNode，防止因edits文件过大，导致NameNode重启变慢),这是Hadoop1的不可靠实现。
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
Hadoop高可用集群搭建及测试
weixin_48628866的博客
06-18 2057
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片拖拽 功能，你可以将本地的图片直
Hadoop3.0分布式集群搭建(HA)详细文档.docx
05-22
详细描述Hadoop3.0 高可用分布式集群搭建。步骤清晰。
七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
12-16 3230
Hadoop系统应用实验之搭建Hadoop高可用集群，熟悉Hadoop高可用集群的搭建过程，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
Hadoop分布式集群搭建完整版（持续更新中）
mmdewhite的博客
11-09 2665
Hadoop集群的搭建，从零到一
大数据开发学习——Hadoop高可用集群搭建
weixin_48169169的博客
06-29 4274
Hadoop高可用集群搭建。这个集群搭建仅用于学习，并非生产环境。项目背景为新闻日志分析，是学校实训课项目所使用环境，记录一下集群搭建的过程。
Hadoop 2.0 NameNode HA和Federation实践
Mac Track
12-13 1413
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability
三台机器集群Hadoop HA的启动和停止-小总结
liweihope的博客
04-17 1156
三台机器hadoop001、hadoop002、hadoop003 部署了hdfs ha、yarn ha 启动集群顺序： 1.进入zookeeper的bin目录，启动zookeeper ./zkServer.sh start 另外两台都手动启一下 2.进入hadoop的sbin目录，启动journalnode， hadoop-daemon.sh start journalnode 另外两台都手动启...
hadoop真分布式集群搭建（高可用性）
qq_41794285的博客
06-14 1184
hadoop真分布式集群搭建（高可用性） 搭建过程： 1.准备三台虚拟机 第一台：作为NameNode 负责文件元数据的操作，全权管理数据库的复制 第二台：作为DataNode 负责处理文件内容的读写请求，数据流不经过NameNode 第三台：作为SecondNameNode 作用同NameNode 高可用性体现：当NameNode失效后，DataNode自动 将N...
集群间多台机器SSH免密码登录（两种方法实现）
热门推荐
timchen525的专栏
07-21 1万+
分布式集群中多台机器之间如何免密码登录（两种方法实现）
2.修改/etc/hosts文件 /安装SSH、配置SSH无密码登陆（全程切换到hadoop用户下操作）
GoJawee的博客
08-10 2713
修改/etc/hosts文件 sudo gedit /etc/hosts127.0.0.1 localhost 192.168.222.129 master 下面分别对应三个机器的IP地址，用ifconfig查看 192.168.222.130 slave1 192.168.222.131 slave2# The following lines are desirable for IPv
Hadoop高可用集群搭建
04-29
因此，为了保证Hadoop集群的高可用性，需要搭建高可用集群。以下是Hadoop高可用集群搭建的步骤： 1. 安装ZooKeeper ZooKeeper是Hadoop集群高可用性的核心组件。在Hadoop 2.x版本中，ZooKeeper是必须的。因此，需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值