Hadoop大数据平台(2)--工作机制、yarn资源管理器、Hadoop+zookeeper高可用

最新推荐文章于 2024-01-24 17:37:02 发布
最新推荐文章于 2024-01-24 17:37:02 发布
阅读量698 收藏
点赞数 1
分类专栏： Linux企业实战篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nk298120/article/details/116127744
版权

文章目录

一、HDFS工作机制

首先客户端创建任务，然后由资源管理器会把请求发往nn节点（namenode），之后nn将会进行分配，比如说分配多少个block、复制几份等，然后nn将会把block分配的节点的地址回传给客户端，之后客户端会以数据包（流）的形式从第一个block往后面的数据节点上开始发送，开始存，同时也会把这个数据列表发往datanode节点，datanode节点将会把这个数据列表传递给其它的datanode，值得一提的是hadoop具备机架感应技术，能够自动感知哪些datanode位于同一机架中，这为数据最终的存储提供了一定的依据。
总结来说，nn上其实维护了两个列表：有关dn的列表、有关block的列表
在这里插入图片描述
HDFS属于Master与Slave结构。一个集群中只有一个NameNode，可以有多个DataNode。
HDFS存储机制保存了多个副本，当写入1T文件时，我们需要3T的存储，3T的网络流量带宽；系统提供容错机制，副本丢失或宕机可自动恢复，保证系统高可用性。
HDFS默认会将文件分割成block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，会导致内存的负担很重。
HDFS采用的是一次写入多次读取的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。
漫画形象解读链接：https://blog.csdn.net/hudiefenmu/article/details/37655491.
https://blog.csdn.net/zghsr1001/article/details/89926021.

HDFS容错机制：

  1. 节点失败监测机制：DN每隔3秒向NN发送心跳信号，10分钟收不到，认为DN宕机。
  2. 通信故障监测机制：只要发送了数据，接收方就会返回确认码。
  3. 数据错误监测机制：在传输数据时，同时会发送总和校验码。
    参考链接：https://blog.csdn.net/xo_zhang/article/details/103581624?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-0&spm=1001.2101.3001.4242.

二、yarn资源管理器配置

工作原理描述：客户端运行一个任务、应用，将请求发送给rm,之后rm会到nm上，nm会把节点上拥有的资源汇报给rm,之后会在am上运行一个应用管理器，这个应用管理器会监控整个job的运行状态，之后会向rm注册一个地址，之后客户端可以直接连接am来获取整个job的进度。am应用管理器中是用java编写的代码，它会根据Job的具体情况来决定以怎样的方式来运行job，或者说要申请哪些资源来运行job。am与nm之间不可以直接进行交互，所有的资源调度都要来自于rm。当申请的应用挂掉之后，nm可以实现job的启停，当整个job完成之后，nm会向rm申请注销资源。job的运行机制类似于容器
在这里插入图片描述

1.编辑配置文件

etc/hadoop/mapred-site.xml:
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

在这里插入图片描述

etc/hadoop/yarn-site.xml:
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

在这里插入图片描述

vim hadoop-env.sh        %为mapred添加环境变量

在这里插入图片描述

2.命令行启动、网页访问测试

sbin/start-yarn.sh        %启动yarn
sbin/stop-yarn.sh         %关闭yarn
ResourceManager - http://localhost:8088/   %网页访问通过8088端口

在这里插入图片描述
在这里插入图片描述

三、Hadoop+zookeeper高可用

1.开启第五台虚拟机，并先配置好nfs，挂载相关目录

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.server1、2、3、4上初始操作

在这里插入图片描述
注意：删除临时文件在每个节点中都要操作
在这里插入图片描述

server2、3、4上：
[hadoop@server2 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server3 hadoop]$ bin/hdfs --daemon start journalnode
[hadoop@server4 hadoop]$ bin/hdfs --daemon start journalnode

3.搭建zookeeper集群

安装 JDK
安装 zookeeper
tar zxf zookeeper-3.4.9.tar.gz
编辑 zoo.cfg 文件：
cp zoo_sample.cfg zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181server.1=172.25.0.2:2888:3888
server.2=172.25.0.3:2888:3888
server.3=172.25.0.4:2888:3888

在这里插入图片描述
在这里插入图片描述

各节点配置文件相同，并且需要在/tmp/zookeeper 目录中创建 myid 文件，写入一个唯一的数字，取值范围在 1-255。比如：172.25.0.2 节点的 myid 文件写入数字“1”，此数字与配置文件中的定义保持一致
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在各节点启动服务：
bin/zkServer.sh start
bin/zkServer.sh status

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.Hadoop配置

[hadoop@server1 hadoop]$ vim core-site.xml
[hadoop@server1 hadoop]$ vim hdfs-site.xml
[hadoop@server1 hadoop]$ bin/hdfs namenode -format     %重新初始化
[hadoop@server1 hadoop]$ ls /tmp/           %初始化完成后/tmp目录中产生临时文件
hadoop-hadoop  hadoop-hadoop-namenode.pid  hsperfdata_hadoop
[hadoop@server1 hadoop]$ scp -r /tmp/hadoop-hadoop 172.25.1.5:/tmp      %复制初始化后产生的文件到server5相关目录中保存server1和server5具有相同的配置

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在三个 DN 上依次启动 journalnode(第一次启动 hdfs 必须先启动 journalnode)
sbin/hadoop-daemon.sh start journalnode
[hadoop@server2 ~]$ jps
1493 JournalNode
1222 QuorumPeerMain
1594 Jps

在这里插入图片描述

格式化 zookeeper （只需在server1上执行即可）
$ bin/hdfs zkfc -formatZK (注意大小写)
启动 hdfs 集群（只需在server1上执行即可）
$ sbin/start-dfs.sh

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

查看各节点状态：
[hadoop@server1 hadoop]$ jps
1431 NameNode
1739 DFSZKFailoverController
2013 Jps
[hadoop@server5 ~]$ jps
1191 NameNode
1293 DFSZKFailoverController
1856 Jps
[hadoop@server2 ~]$ jps
1493 JournalNode
1222 QuorumPeerMain
1400 DataNode
1594 Jps
[hadoop@server3 ~]$ jps
1578 Jps
1176 QuorumPeerMain
1329 DataNode
1422 JournalNode
[hadoop@server4 ~]$ jps
1441 Jps
1153 QuorumPeerMain
1239 DataNode
1332 JournalNod

进入zk集群查看数据写入相关信息：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.访问测试与故障切换

访问测试：
在这里插入图片描述
在这里插入图片描述
server1往hdfs中上传数据时：
在这里插入图片描述
故障切换：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.在上述高可用平台中加入ResourceManger服务实现yarn的高可用

编辑yarn-site.xml文件：
<configuration>
<!-- 配置可以在 nodemanager 上运行 mapreduce 程序 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 激活 RM 高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property><!-- 指定 RM 的集群 id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>RM_CLUSTER</value>
</property>
<!-- 定义 RM 的节点-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 指定 RM1 的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>172.25.0.1</value>
</property>
<!-- 指定 RM2 的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>172.25.0.5</value>
</property>
<!-- 激活 RM 自动恢复 -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 配置 RM 状态信息存储方式，有 MemStore 和 ZKStore-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- 配置为 zookeeper 存储时，指定 zookeeper 集群的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>172.25.0.2:2181,172.25.0.3:2181,172.25.0.4:2181</value>
</property>
</configuration>

在这里插入图片描述

启动 yarn 服务
sbin/start-yarn.sh
[hadoop@server1 hadoop]$ jps
6559 Jps
2163 NameNode
1739 DFSZKFailoverController5127 ResourceManager

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
测试yarn故障切换：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.Hbase（hdfs非关系型数据库）分布式部署

hbase 配置
tar zxf hbase-1.2.4-bin.tar.gz
vim hbase-env.sh
export JAVA_HOME=/home/hadoop/java        %指定 jdk
export HBASE_MANAGES_ZK=false     %默认值是true，hbase在启动时自动开启zookeeper，如需自己维护zookeeper集群需设置为false
export HADOOP_HOME=/home/hadoop/hadoop   %指定hadoop目录，否则hbase
无法识别 hdfs 集群配置

在这里插入图片描述
在这里插入图片描述

vim hbase-site.xml
<configuration>
<!-- 指定 region server 的共享目录，用来持久化 HBase。这里指定的 HDFS 地址
是要跟 core-site.xml 里面的 fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致。 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase</value>
</property>
<!-- 启用 hbase 分布式模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- Zookeeper 集群的地址列表，用逗号分割。默认是 localhost,是给伪分布式用
的。要修改才能在完全分布式的情况下使用。 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>172.25.0.2,172.25.0.3,172.25.0.4</value>
</property

cat regionservers      %指定node节点
172.25.0.3
172.25.0.4
172.25.0.2

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

启动 hbase
主节点运行：
$ bin/start-hbase.sh
[hadoop@server1 hbase]$ jps
6559 Jps
2163 NameNode
1739 DFSZKFailoverController
5127 ResourceManager
1963 HMaster
备节点运行：
[hadoop@server5 hbase]$ bin/hbase-daemon.sh start master
1191 NameNode
3298 Jps
1293 DFSZKFailoverController
2757 ResourceManager
1620 HMaster
HBase Master 默认端口时 16000，还有个 web 界面默认在 Master 的 16010 端口
上，HBase RegionServers 会默认绑定 16020 端口，在端口 16030 上有一个展示
信息的界面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

HTDST
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop系列之资源调度 Yarn 重启策略和高可用 (35)
03-06 5万+
重启 ResourceManager是管理资源和调度在YARN上运行的应用程序的中央机构。因此，它在整个Apache YARN群集中有潜在单点故障风险。本文档概述了ResourceManager重新启动，此功能可以增强ResourceManager使其在重新启动后仍能正常运行，并且还可以使用户感知不到ResourceManager的重启。ResourceManager 支持两种重启策略 不保留工作的RM重新启动，此重新启动增强了RM，以将应用程序/尝试程序 状态和其他凭据信息保留在可插拔状态存储中。 RM将
大数据相关——YARN资源管理器
m0_45993982的博客
04-23 244
大数据相关——YARN资源管理器 先学习一下YARN资源管理器，有利于学习MapReduce框架 1.YARN简介 ​ 为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架 YARN. ​ Apache YARN（Yet another Resource Negotiator的缩写）是Hadoop集群的资源 管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式
【实验】Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)
liweihope的博客
03-02 256
Hadoop-2.7.2+Zookeeper-3.4.6完全分布式环境搭建 一.版本 组件名 版本 说明 JRE java version "1.7.0_67" Java(TM) SE Runti...
hadoop+yarn+zookeeper实现高可用
windowsworld的博客
08-20 502
部署环境 ip(主机名) 服务 172.25.32.5(server5) namenode，hdfs,nfs 172.25.32.6(server6) zookeeper（journalnode）hdfs,nfs 172.25.32.7(server6) zookeeper（journalnode）hdfs,nfs 172.25.32.8(server6) zookee...
大数据入门（14）hadoop+yarn+zookeeper集群搭建
java程序员的蜕变之路
11-10 483
1、右键clone虚拟机，进入图形界面，修改虚拟机ip即可，相关环境变量配置都存在 2、集群规划：（必须设置主机名，配置主机名和ip的映射关系，每个文件都需要配置映射关系）     主机名        IP            安装的软件                    运行的进程     weekend01    192.168.1.113        jdk、hadoop   ...
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
12-26
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
01-11
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解...
hadoop-mapreduce-client-common-2.6.5-API文档-中英对照版.zip
04-19
赠送jar包：hadoop-mapreduce-client-common-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-common-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-common-2.6.5-sources.jar； 赠送Maven依赖信息...
配置高可用的Hadoop平台
03-03
在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（HighAvailable高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN。然后根据提示，设置密码。接着我给hadoop用户设置面免密码权限，也可自行添加其他权限。...
hadoop+Zookeeper（平台部署、hdfs工作原理、yarn调度器、高可用）
Aimee_c的博客
07-16 873
文章目录1.设置单节点群集1.1 安装软件及设置1.2 独立运行1.3 伪分布式操作2.Hadoop集群设置2.1 完全分布式2.2 在线添加新节点 参考官网：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 实验环境： 172.25.0.1 server1： NameNode DFSZKFailoverController ResourceManager 172.25.0.5
Hadoop集群和hbase集群和zookeeper集群搭建
小码农的博客
03-20 445
Hadoop集群和hbase集群和zookeeper集群搭建 机器安装jdk 这个参考其它文档 说明一下我是三台主机三台主机的ip是 第一台 ：xx.xx.xx.171 第二台 ：xx.xx.xx.172 第三台 ：xx.xx.xx.173 配置主机映射 （三台机器上面都需要修改） 1.修改 hosts vi /etc/hosts 我的配置如下 说明一下 ：我的node171 是我自定义的，但是用 node 171的时候 hbase 连接zookeeper报错 所以 我给后面加了 m171
Hadoop(五) (Hadoop+zookeeper实现hdfs及yarn的高可用)
weixin_45649763的博客
06-05 653
@[toc]] 实验环境: 172.25.2.3 ser3 nn 172.25.2.4 ser4 nn(新开的节点) 172.25.2.5 ser5 dn 172.25.2.6 ser6 dn 172.25.2.7 ser7 dn 在ser3上 [yxx@ser3 ~]$ rm -fr /tmp/* [yxx@ser3 ~]$ logout [root@ser3 ~]# systemctl start nfs [root@ser3 ~]# showmount -e Export list
Hadoop+zookeeper+yarn的高可用部署
zhangyu_sing的博客
08-20 379
下载获取zookeeper文件，解压缩 拷贝并修改配置文件 cp zoo_sample.cfg zoo.cfg vim zoo.cfg 关闭服务并清空/tmp/的内容 sbin/stop-dfs.sh sbin/stop-yarn.sh rm /tmp/* -fr 在server2和server3和server4这三个结点上创建目录并写入myid mkdir /tmp/zookeeper ...
10.数据中台 --- 数据中台运营机制
enlyhua的专栏
05-09 2019
第10章　数据中台运营机制 企业数据中台搭建好后，如何让数据中台中的数据资产越勇越多，越用越灵活，越用越稳定，这是紧接着要进入的一个新阶段：数据中台运营阶段。 10.1　数据中台运营效果评估模型 数据中台不是一款简单的产品，而是一个让数据持续用起来的机制。 如果数据可以被持续高质量的生产出来，数据消费者可以便捷的获取数据，并能在安全、有监管的环境中使用，最终让数据资产达到一种比较 理想的"越来越多，越来越好"的状态，那么恭喜你，你的企业数据中台已经运营成一个非常优秀的范本了。 10.2.
Hadoop+yarn高可用
Sparks _Fly
07-13 558
基本概念： ApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创...
Hadoop集群高可用及zookeeper+kafka组件搭建
kali_yao的博客
03-13 3931
一.Hadoop集群高可用 角色与配置 主机名 IP地址 角色服务 hadoop1 192.168.1.50 namenode, resourcemanager, ZKFC hadoop2 192.168.1.56 namenode, resourcemanager, ZKFC node-0001 192.168.1.51 datanode, nodemanager, zookeeper, journalnode node-0002
【网络安全运维】yarn高可用配置详解
最新发布
A1_3_9_7的博客
01-24 429
当Active发生故障或无响应时，另一个RM被自动选为Active，然后接管。客户端，ApplicationMaster（AM）和NodeManager（NM）尝试以循环方式连接到RM，直到它们到达活动RM。这里我整合并且整理成了一份【282G】的网络安全从零基础入门到进阶资料包，需要的小伙伴可以扫描下方CSDN官方合作二维码免费领取哦，无偿分享！要从一个RM到另一个RM进行故障转移，）后，RM变为active后，它会加载RM的内部状态，并尽可能地处理之前active未处理的请求。
YARN查看和切换ResourceManager的状态
王义凯 的博客
09-07 8778
当YARN开启了HA之后，我们想要知道两个ResourceManager中哪台是ACTIVE，哪台是STANDBY状态，可以通过下面的方式来获取或切换它们的状态。
Yarn 基础详解
程序员小陶的大数据分享
12-16 252
精选30+云产品，助力企业轻松上云！>>> ...
现在请你描述下，企业中正常工作的hadoop集群中，hadoop大数据平台都分别启动了哪些进程，以及它们的作用？建议从从高可用HDFS集群的角度，加上yarn集群两个方面来描述下整个hadoop集群中每个组件的含义和用途，描述的越细致越好。
04-20
首先从高可用HDFS集群的角度来说，Hadoop的HDFS是一个由多台机器组成的分布式文件系统。在HDFS集群中，会启动众多的进程来维护整个系统。 1. NameNode：NameNode是整个HDFS的关键进程，它负责存储元数据以及维护...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值