大数据运维存档（4）YARN调优与排障

最新推荐文章于 2022-07-10 19:26:38 发布
最新推荐文章于 2022-07-10 19:26:38 发布
阅读量281 收藏
点赞数
分类专栏： 大数据运维系列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36269641/article/details/111738086
版权
大数据运维系列 专栏收录该内容
15 篇文章 10 订阅 ¥59.90 ¥99.00
订阅专栏
本文详细介绍了YARN的巡检流程，包括YARN CM和WEB UI的运行状态检查，以及YARN/MR的关键性能指标分析。针对存在的资源利用率低、内存和CPU使用不均衡的问题，提出了参数调优建议，如降低Container内存分配，增加NodeManager可分配的CPU核心数。同时，文章列举了多种运维命令和排障案例，涉及资源队列配置、GC问题、内存不足错误等，提供了详细的解决方案。
摘要由CSDN通过智能技术生成

1、巡检

YARN 为 Hadoop 集群的上层应用，包括 MapReduce、Spark 等计算服务在内，提供了统一的资源管理和调度服务。

每日早晚巡检YARN 服务，主要检查资源池内主机的健康状态，保障 YARN 服务可用性。

1.1、YARN CM 运行状态

Yarn 集群，目前 Cloudera Manager 显示 6 个不良，16 个存在隐患

image.png

image.png

打开显示为不良的 NodeManager，这个节点有坏盘正在报修阶段

image.png

查看存在隐患的 NodeManager

了解本专栏 订阅专栏 解锁全文
pub.ryan
关注
专栏目录
订阅专栏
大数据运维存档（3）HDFS&ZooKeeper调优与排障
Big_data_implicit_
12-26 289
1、巡检 HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。 每日早晚巡检HDFS 服务，包括HDFS 服务可用性、存储使用率、datanode 是否有故障盘等。 1.1、HDFS 总体状态 ①HDFS 状态，如下的红色提示需要关注 ②HDFS容量是否过阈值 1.2、HDFS UI 巡检 1.2.1、summary巡检 对应上图所示标号，逐一进行解释： （1）HDFS 总文件数：此数值代表着 HDFS 存储内有多少文件，该数值的警告阈值为 5000W （2）H.
Yarn资源管理器
qq_43057549的博客
10-11 507
Yarn简介 Apache Yarn(Yet another Resource Negotiator)是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序。 Yarn被引入Hadoop2.0，最初是为了改善MapReduce的实现，但是因为具有足够的通用性 ...
YARN 运维、巡检、监控、调优、排障
张伟的专栏
07-10 1454
YARN 运维、巡检、监控、调优、排障
yarn任务信息的几种获取方式
hncscwc的博客
06-02 7126
在问题定位、日常巡检、特定开发任务中，都会涉及查看yarn任务的相关信息，包括applicaiton的ID、类型、名称、起始时间、app所包含的container、以及每个container的日志文件内容等信息。本文就来聊聊查询查看这些信息的几种方式。【通过RM的WEB查看】这个是最简单的方式，直接在浏览器中打开RM的web网页就可以查看所有的App信息以及对应的日志了。...
yarn调优以及常见问题的解决方案
Java架构师联盟
03-02 464
发的发射点发射点发
大数据运维存档（5）HBase&Kafka调优与排障
Big_data_implicit_
12-26 287
一、HBase篇 1、巡检 HBase 是使用 HDFS 作为底层存储的 NoSQL 数据库，提供了满足实时性和随即读写功能的数据库服务。 每日早晚巡检 HBase 服务，检查各集群的 HMaster 和 RegionServer 状态，是否事务积压等问题。 1.1、查看CM HBase 的整体状态 1.HBase 的状态，目前看没有严重警告 2.查看集群读写请求量 3.查看总 Region 数，有 4 万+的 Region 平均每个 RegionServer 有 100
大数据运维存档（0）linux系统运维常用命令
Big_data_implicit_
12-26 242
1、常用命令 1.1、查看主机CPU使用情况 1.1.1、sar sar -u 1 5 说明：已1秒为周期查询5次当前主机总体CPU使用情况。 %user 用户空间的 CPU 使用 %nice 改变过优先级的进程的 CPU 使用率 %system 内核空间的 CPU 使用率 %iowait CPU 等待 IO 的百分比 %steal 虚拟机的虚拟机 CPU 使用的 CPU %idle 空闲的 CPU 主要看%iowait 和%idle，%iowait 过高表示存在 I/O 瓶颈，.
Hadoop大数据平台开发与案例分析
spark798的博客
06-24 5327
关于举办“Hadoop大数据平台开发与案例分析 ”高级工程师 一、课程介绍 1.需求理解 Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得Hadoop 一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。 对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘...
大数据(三) - YARN
热门推荐
will的成长之路
01-14 1万+
YARN是资源管理系统，理论上支持多种资源，目前支持CPU和内存两种资源 YARN产生背景     直接源于MRv1在几个方面的缺陷             扩展性受限             单点故障             难以支持MR之外的计算     多计算框架各自为战，数据共享困难             MR：离线计算框架             Storm：实
HDFS巡检、监控、调优、排障
萌兔兔MMQ！！
03-25 5778
1、巡检 HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。 每日早晚巡检HDFS 服务，包括HDFS 服务可用性、存储使用率、datanode 是否有故障盘等。 1.1、HDFS 总体状态 ①HDFS 状态，如下的红色提示需要关注 ②HDFS 容量是否过阈值 1.2、HDFS UI 巡检 1.2.1、summary巡检 对应上图所示标号，逐一进行解释： （1）HDFS 总文件数：此数值代表着 HDFS 存储内有多少文件，该数值的警告阈值为 5000W （2）HDFS 总存储容量：此数值
大数据运维学习之路
a934079371的博客
09-10 9259
业内有这么一句话说：云计算可能改变了整个传统IT产业的基础架构，而大数据处理，尤其像Hadoop组件这样的技术出现，将是改变IT业务模式的一种技术。另外，很多小伙伴可能还搞不明白云和Ha...
大数据运维存档（8）数仓构建与Hive实现常识整理、生产中调优
Big_data_implicit_
12-27 4682
目录 一、数仓基础 1、数仓基本介绍 1.1、数仓基本概念 1.2、数仓的定义 1.2.1、面向主题 1.2.2、集成性 1.2.3、稳定性 1.2.4、时变性 1.3、数据仓库与数据库的区别 1.4、构建数仓常用手段 1.5、数仓分层 1.5.1、数仓分层描述 1.5.2、为什么要进行数仓分层 1.6、获取数据 1.7、同步策略 2、数据仓库建模 2.1、范式建模法（Third Normal Form 3NF） 2.2、维度建模法 2.2.1、维度表 2.2.2、事
大数据集群节点与硬件规划
Big_data_implicit_
12-26 1627
1、大数据平台前期调研 1.1业务需求调研 从运维角度看，主要调研公司的有哪业务的数据运营需求，是离线计算需求还是实时计算需求。 1）离线计算组件需求： 数据采集组件：FlinkX/DataX 数据存储组件：HDFS 数据加工组件：YARN/Hive/Spark/Flink 数据服务组件：HBase/Elasticsearch/Geomesa（时空数据库）/Kylin（OLAP 引擎）/MPP 数据库（可以用作即席交互查询，如 Greenplum、HAWQ） 2）实时计算组件需求： 数.
大数据运维平台治理
Big_data_implicit_
12-26 320
1、大数据平台面临问题及流程 2、大数据平台深度监控场景及思路讨论 2.1、整体架构 2.2、HDFS画像 2.2.1、解析NameNode 序列化文件fsimage 1.使用 HDFS 命令解析 fsimage 文件，得到 namenode 第一关系相关信息命令如下： hdfs oiv -p Delimited -i fsimage_0000000000000697136 -o fsimage_0000000000000697136.txt 2.通过解析文件内容可以得到如下.
HDFS小文件处理解决方案总结
Big_data_implicit_
12-26 287
问题： 1、HDFS处理小文件有几种方案？各自的优缺点有哪些？ 2、HDFS文件操作流程步骤有哪些？ 3、你对提高HDFS处理小文件的效率有什么新的想法？ 一、概述 HDFS存储特点： （1）流式读取方式，主要是针对一次写入，多次读出的使用模式。写入的过程使用的是append的方式。 （2）设计目的是为了存储超大文件，主要是针对几百MB，GB，甚至TB的文件 （3）该分布式系统构建在普通PC机组成的集群上，大大降低了构建成本，并屏蔽了系统故障，使得用户可以专注于自身的操作运...
大数据运维存档（9）HBase常识整理
Big_data_implicit_
12-27 280
一、hbase是什么 1.1、hbase的概念 HBase基于Google的BigTable论文，是建立的HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。 在需要实时读写随机访问超大规模数据集时，可以使用HBase。 1.2、hbase的特点 海量存储 可以存储大批量的数据 列式存储 HBase表的数据是基于列族进行存储的，列族是在列的方向上的划分。 极易扩展 底层依赖HDFS，当磁盘空间不足的时候，只需要动态增加datanode节点就可以了
大数据运维存档（10）Kafka常识整理
Big_data_implicit_
12-27 240
一、kafka概述 1.1、为什么有消息系统 解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 冗余消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。 扩展性因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。 灵活性 &
大数据运维存档（6）YARN常识整理
Big_data_implicit_
12-26 224
Apache Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入 YRAN具有足够的通用性，可以支持其它的分布式计算模式 一、YARN架构 类似HDFS，YARN也是经典的主从（master/slave）架构 YARN服务由一个ResourceManager（RM）和多个NodeManager（NM）构成 ResourceManager为主节点（master） NodeManager为
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

pub.ryan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值