高可用HDFS完全分布式搭建

最新推荐文章于 2023-05-16 19:39:06 发布
最新推荐文章于 2023-05-16 19:39:06 发布
阅读量407 收藏
点赞数
分类专栏： 大数据 文章标签： 高可用HDFS 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chris_MZJ/article/details/83033471
版权

下面介绍高可用HDFS完全分布式的搭建步骤：

第一步：在VmVare中安装四台CentOs6.5

主机名分别为node1,node2,node3,node4，(这样配置主机名是为了搭建的时候方便和节点关联)。

第二步：分别配置这四台主机的网络。

           修改/etc/sysconfig/network-scripts/下的ifcfg-eth0文件,使ONBOOT=yes，BOOTPROTO=none，再添加
以下文本：

IPADDR=192.168.42.128
PREFIX=24
GATEWAY=192.168.42.2
DNS1=8.8.8.8

指令列表

    1、cd /etc/sysconfig/network-scripts/  
    2、vim ifcfg-eth0

截图

在这里插入图片描述
          修改后的文本内容，其中IPADDR是虚拟机的IP地址，GATEWAY是把虚拟机的IP地址最后一位改成2

在这里插入图片描述
          DNS1可以在宿主机的IP4地址中查看，如下图，四台主机的网络配置方法一致
在这里插入图片描述

第三步：配置四台主机的jdk

          首先我们把自带的jdk卸载：
          1）查看当前Linux系统是否已经安装java
          输入 rpm -qa | grep java
在这里插入图片描述
          2）卸载两个openJDK
          输入rpm -e --nodeps 要卸载的软件
在这里插入图片描述
          3）上传jdk到linux
          4）解压jdk到/usr/local下 tar –xvf jdk-8u121-linux-x64.tar.gz –C /usr/local
          5）配置jdk环境变量，打开/etc/profile配置文件，将下面配置拷贝进去

		export JAVA_HOME=/usr/local/jdk1.8.0_121
		export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
		export PATH=$PATH:$JAVA_HOME/bin:$PATH

          6） 检查jdk是否安装成功:java - version
在这里插入图片描述
           四台主机配置步骤一致

第四步：修改各个主机的hosts文件

          1）修改/etc/hosts文件：vim /etc/hosts
在这里插入图片描述

第五步：同步各个主机的时间

          1）各个节点(节点即主机)安装ntp命令：yum install ntp
          2）同步时间：ntpdate ntp1.aliyun.com
          3）可以使用date命令查看时间是否同步

第六步：配置免密登录

          免密示意图：

	node01->node01  node01->node02  node01->node03 node01->node04
	node02->node01

          1）所有节点执行 ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
           步骤都一样，这里仅贴出node1操作的截图
在这里插入图片描述
          2）在node1节点执行，将node1的公钥加入到其他节点的白名单中

	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node3
	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node4
	步骤都一样，这里仅贴出node1操作的截图

在这里插入图片描述
          3）在node2节点执行：ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1，将node1的公钥加入到其他节点的白名单中，截图和上图差不多

第七步：上传hadoop-2.6.5.tar.gz并修改配置文件

1）首先将hadoop-2.6.5.tar.gz上传到/home目录下面，然后解压到/opt/software/hadoop文件夹下，hadoop文件夹解压前创建好
在这里插入图片描述

2）解压完成后修改/hadoop-2.6.5/etc/hadoop下的hdfs-env.sh配置文件,添加JAVA_HOME环境变量
在这里插入图片描述

3）修改hdfs-site.xml配置文件，在其中添加以下属性：

<property>
 <name>dfs.nameservices</name>
 <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>node01:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
 <value>node02:8020</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>node01:50070</value>
</property>
<property> 
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>node02:50070</value>
</property>
<property>	
 <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/var/sxt/hadoop/ha/jn</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>  	
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>	
<property>
<name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

在这里插入图片描述

4）修改core-site.xml配置文件，在其中添加以下属性：

<property>
   <name>fs.defaultFS</name>
 <value>hdfs://mycluster</value>
</property>
<property>
 <name>ha.zookeeper.quorum</name>
   <value>node2:2181,node3: 2181,node4:2181</value>
</property>

在这里插入图片描述

5)修改slaves配置文件：
在这里插入图片描述
6)将配置好的HDFS安装包拷贝到node2 node3 node4
在这里插入图片描述
7)搭建zookeeper集群并启动
          将zookeeper-3.4.10上传到node2的/home目录下，解压到/opt/software/zookeeper/下
在这里插入图片描述
          修改conf目录下的zoo_sample.cfg的名称，改为zoo.cfg
在这里插入图片描述
           修改zoo.cfg

 dataDir=/var/zfg/zookeeper
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888

dataDir是用来放置zookeeper产生的临时文件，目录可以随便指定
在这里插入图片描述
在dataDir目录下创建一个myid文件，在这个文件中写上当前节点ID号
在这里插入图片描述在这里插入图片描述
将配置好的zookeeper安装包拷贝到node3 node4
在这里插入图片描述
6)拷贝完毕后，在各自节点上创建myid号(在/var/mzj/zookeeper/创建)，ID号要依次递增
在这里插入图片描述
在这里插入图片描述

7）将hadoop的指令和zookeeper的指令都配置到系统变量中，node1不用配置zookeeper指令，其他节点都要，修改/etc/profile文件，并令其生效:source /etc/profile，如下图所示:
在这里插入图片描述
分别在node2,node3,node4启动zookeeper
在这里插入图片描述
8） 格式化NameNode(创建目录以及文件)
          ①在node1、node2、node3分别执行如下命令

	hadoop-daemon.sh start journalnode

在这里插入图片描述

          ②随机选择一台NameNode执行：

	hdfs namenode -format
	hadoop-daemon.sh start namenode

在这里插入图片描述
          ③另外一台NameNode节点执行：

	hdfs namenode  -bootstrapStandby

在这里插入图片描述
在两个namenode节点分别执行

	hdfs zkfc -formatZK

在这里插入图片描述
关闭所有节点上的进程

	stop-dfs.sh

在这里插入图片描述
启动HDFS

	start-dfs.sh

启动成功在hdfs上创建一个目录：
在这里插入图片描述

在浏览器输入node1:50070查看刚才创建的目录
在这里插入图片描述

到此，高可用HDFS搭建成功

Chris_MZJ
关注
专栏目录
HDFS完全分布式集群搭建与配置及常见问题总结
qq_63040382的博客
09-16 1381
其次，用MapReduce处理大量小文件时，会产生过多的Map任务，进行管理开销会大大增加，因此处理大量小文件的速度远远低于处理同等规模的大文件的速度。NameNode节点可以将旧的fsimage文件及旧的日志文件，换为新的fsimage文件和新的日志文件(第一步生成的)，然后更新fstime文件，写入此次checkpoint的时间。数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者是名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送自己所存储的块的列表。
hadoop集群环境搭建之高可用的完全分布式集群环境搭建
qq_39131779的博客
10-12 566
搭建集群的模式有三种 1.伪分布式：在一台服务器上，启动多个线程分别代表多个角色(因为角色在集群中使用进程表现的) 2.完全分布式：在多台服务器上，每台服务器启动不同角色的进程，多台服务器构成集群 3.高可用的完全分布式 本次搭建是在完全分布式的基础上搭建的，完全分布式请看 完全分布式的搭建. . 首先为什么会提出高可用的完全分布式呢？ 因为以往的架构，毕竟是单节点(namenode),...
hdfs的高可用搭建
10-17
关于hdfs的高可用搭建文档，详细介绍了hdfs如何搭建ha
HDFS 高可用的环境搭建
最新发布
m0_37658639的博客
05-16 2759
在开始Hadoop集群的HDFS高可用环境搭建之前，需要完成搭建工作。
HDFS高可用集群搭建
随我的博客
05-24 770
环境 CentOS 7 JAVA 1.8 Zookeeper 2.9.2 Hadoop 3.4.14 一、简单HDFS集群中存在的问题及解决办法 如何解决NameNode的单节点问题 多个NameNode备份原NameNode数据 如何解决多个NameNode是集群脑裂问题 使用QJM，QJM（Quorum Journal Manager）是Hadoop专门为Namenode共享存储开发的组件。其集群运行一组Journal Node，每个Journal 节点暴露一个简单的RPC接口，允许N.
HDFS高可用完全分布式搭建
Kimshell
12-26 550
教程集群规划配置免密登录所有节点配置JDK配置hadoop搭建zookeeper集群格式化验证HA故障自动切换注意点 集群规划 配置免密登录 node01-&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;node01 node01-&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;node02 node01-&amp;amp;amp;amp;am
HDFS HA搭建（高可用）
wyzfj520的博客
04-13 216
ZK NN DN RM NM JN ZKFC master 1 1 1 1 1 node1 1 1 1 1 1 1 1 node2 1 1 1 1 注意： 操作前需要保存一下之前的快照 jdk hosts 1、防火墙 service iptables stop 2、时间同步 yum install ntp ...
hadoop HA高可用性完全分布式集群安装
11-05
本文将详细介绍如何搭建一个Hadoop HA高可用性的完全分布式集群，并提供关键步骤和注意事项。 #### Hadoop HA概述 Hadoop HA主要是指NameNode的高可用性实现方案。在传统的Hadoop架构中，NameNode是整个HDFS...
从零开始搭建HDFS高可用（HA）环境（使用QJM）
带翅膀的猫的博客
07-24 3972
背景 &amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;在Hadoop 1.x 中，Namenode是集群的单点故障，一旦Namenode出现故障，整个集群将不可用，重启或者开启一个新的Namenode才能够从中恢复。值得一提的是，Secondary Namenode并没有提供故障转移的能力。集
HDFS 高可用分布式环境搭建
Practitioner
09-07 504
我们再新建一个用户 good ，并且将 good 加入 ooxx 这个组，good 这个用户就可以正常上传文件到。在 node01，node02，node03 上分别启动 journalnode。在 node02，node03，node04 上分别启动 zookeeper。在 node02，node03，node04 下配置环境变量。安装包上传到 node02，node03，node04 的。我们选择 node02，在 node02 上执行。测试，在 node01 上，执行如下命令，
HDFS高可用性分布式环境搭建
qq_41609775的博客
09-06 326
1.HDFS高可用简介 在 Hadoop 1.X版本中，NameNode是整个HDFS集群的单点故障（single point of failure，SPOF）：每一个HDFS集群只能有一个NameNode节点，一旦NameNode所在服务器宕机或者出现故障将导致整个集群都不可用，除非重启或者开启一个新的Namenode集群才能够恢复可用。NameNode单点故障对HDFS集群的可用性产生影响主要...
hdfs(ha)搭建文档---高可靠
W_X_L11的博客
10-20 114
1、防火墙 service iptables stop 2、时间同步 yum install ntp ntpdate -u s2c.time.edu.cn 或者 date -s 20180503 3、免密钥 (远程执行命令) 在两个主节点生成密钥文件 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-copy-id ip master-->master,node1,node2 node1-->master,node1,nod
HDFS高可用完全分布式集群搭建
cway的博客
10-15 278
HDFS高可用搭建
weixin_47260194的博客
02-26 1230
HDFS HA高可用集群部署
HDFS高可用完全分布式搭建步骤
滴水穿石的博客
10-13 366
一、准备阶段 分布式思想 分布式集群规划 主机名 IP地址 NN-1 NN-2 DN ZK ZKFC JNN ...
HDFS高可用的完全分布式搭建流程
缤纷彩虹天地
10-10 267
HDFS高可用的完全分布式设计架构图 HDFS的高可用指的是HDFS持续对各类客户端提供读、写服务的能力，因为客户端对HDFS的读、写操作之前都要访问Namenode服务器，客户端只有从Namenode获取元数据之后才能继续进行读、写。所以HDFS的高可用的关键在于Namenode上的元数据持续可用。 主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换。所有...
HDFS HA高可用完全分布式搭建步骤
PowerBlogger的博客
10-11 513
集群规划： NameNode DataNode ZooKeeper ZKFC JournalNode node01 √ √ √ node02 √ √ √ √ √ node03 √ √ √ node04 √ √ 准备 在每个节点的/etc/hosts文件中配置对各个主机的映射 关闭防火墙chkconfig iptables off 每个节点安装JDK...
HDFS高可用分布式的搭建
ljy_1997的博客
10-13 230
HDFS高可用分布式的搭建 注：此工作的搭建基于完全分布式的基础之上。 参考链接：https://mp.csdn.net/postedit/83003119 集群规划： (1) 配置免密登录 （如果操作失败，搞乱了各个节点的密钥，删除 .ssh/目录下文件重新配置） node01-&gt;node01 node01-&gt;node02 node01-&gt;node03 node01...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值