- 博客(4)
- 收藏
- 关注
RSS订阅原创 董西城《深入解析YARN》- 第6章 资源调度器
6.3 YARN资源调度器的基本架构资源调度器的基本架构.png6.3.2 资源表示模型NodeManager启动时会向ResourceManager注册，注册信息中包含该节点可分配的CPU和内存总量，这两个值均可通过配置选项设置，具体如下：❑yarn.nodemanager.resource.memory-mb。可分配的物理内存总量，默认是8MB×1024，...
2020-04-11 20:22:03
229
原创 《Hadoop权威指南》笔记——第13章 parquet文件
parquet文件结构image.png数据 类型- 原始类型image.png- 逻辑类型image.png
2020-04-04 15:25:33
145
原创 董西城《深入解析YARN》-第5章 RespourceManager剖析
5.1 Resourcemanager 概述image.png❑与客户端交互，处理来自客户端的请求；❑启动和管理ApplicationMaster，并在它运行失败时重新启动它；❑管理NodeManager，接收来自NodeManager的资源汇报信息，并向NodeManager下达管理指令（比如杀死Container等）；❑资源管理与调度，接收来自Appli...
2020-04-03 08:59:28
191
原创 董西城《深入解析YARN》-第4章YARN应用程序设计
示范程序两个Application编程实例DistributedShell和Unmanaged AM相关实现在目录hadoop-yarn-project/hadoop-yarn/hadoop-yarn-applications/中，读者可仿照这两个非常简单的实例学习YARN Application的编写方法Resourcemanagerimage.png❑与客户...
2020-04-01 14:09:07
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人