Hadoop
Hadoop从入门到精通
SmallBird6
Hello World!!!
展开
-
Hadoop1.0和Hadoop2.0底层架构
Hadoop架构1. Hadoop 1.01.1 HDFS1.2 MapReduce2. Hadoop 2.02.1 Yarn : 资源管理系统扫码关注,一起学习进步,回复'分享',会有惊喜等着你~1. Hadoop 1.0Hadoop是一个开源的分布式系统框架第一代Hadoop从资源管理到任务调度都采用了主从结构Hadoop1.0有两个核心组件,HDFS和MapReduce1.1 HD...原创 2019-08-27 17:40:24 · 644 阅读 · 0 评论 -
ResourceManager学习之Application,状态机管理
Application管理YARN中,Application是指应用程序,他可能启动多个运行实例,每个运行实例由一个ApplicationMaster与一组该ApplicationMaster启动的任务组成,他拥有名称、队列名、优先级等属性,是一个比较宽泛的概念,可以是一个MapReduce作业、一个DAG应用程序,设置可以是一个Storm集群实例(1) ApplicationACLsMana...翻译 2019-09-05 15:40:32 · 291 阅读 · 0 评论 -
ResourceManager学习之ApplicationMaster,NodeManager管理
ApplicationMaster管理部分主要由三个服务构成,分别是ApplicationMasterLauncher、AMLivelinessMonitor和ApplicationMasterService,它们共同管理应用程序的ApplicationMaster的生命周期ApplicationMasterLauncher、AMLivelinessMonitor和ApplicationMast...翻译 2019-09-03 15:47:42 · 440 阅读 · 0 评论 -
ResourceManager基本职能和内部架构
YARN也采用了Master/Slave结构,其中,Master实现为ResourceManager,负责整个集群资源的管理与调度;Slave实现为NodeManager,负责单个节点的资源管理与任务启动ResourceManager是整个YARN集群中最重要的组件之一,它的设计直接决定了系统的可扩展性、可用性和容错性等特点,它的功能较多,包括ApplicationMaster管理(启动、停止等)...翻译 2019-09-02 14:35:03 · 2311 阅读 · 0 评论 -
YARN底层基础库
YARN基础库是其他一切模块的基础,它的设计直接决定了YARN的稳定性和扩展性,YARN借用了MRV1的一些底层基础库,比如RPC库等,但因为引入了很多新的软件设计方式,所以它的基础库更多,包括直接使用了开源序列化框架Protocol Buffers和Apache Avro,自定义的服务库、事件库和状态机等目录一. 概述二. Protocol Buffers三. Apache Avro...翻译 2019-08-30 16:59:32 · 143 阅读 · 0 评论 -
Hadoop RPC机制详解
网络通信模块是分布式系统中最底层的模块,他直接支撑了上层分布式环境下复杂的进程间通信逻辑,是所有分布式系统的基础。远程过程调用(RPC)是一种常用的分布式网络通信协议,他允许运行于一台计算机的程序调用另一台计算机的子程序,同时将网络的通信细节隐藏起来,使得用户无需额外地为这个交互作用编程,大大的简化了分布式程序开发作为一个分布式文件系统,Hadoop实现了自己的RPC通信协议,他是上层多个分布式...翻译 2019-08-29 16:47:21 · 186 阅读 · 0 评论 -
Yarn介绍(设计理念与基本架构)
Yarn : 新的计算框架,是一个全局资源管理器,负责整个集群的资源管理和分配一. Yarn产生背景 Hadoop1.0MR有局限性,概括为以下几个方面 : 扩展性差 可靠性差 资源利用率低 无法支持多种计算框架 为克服Hadoop1.0中MR存在各种问题而提出了Yarn,它将JobTracker中的资源管理和作业控制功能分开,分别由...翻译 2019-08-28 17:32:25 · 820 阅读 · 0 评论 -
Hadoop简介
Hadoop : Hadoop是Apache基金会旗下的一个分布式系统基础架构.主要包括 : 分布式文件系统HDFS,分布式资源管理系统Yarn.可以使得用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的分布式能力进行运算和存储Hadoop核心构成 分布式文件系统HDFS Hadoop分布式文件系统(HDFS)能提供对数据访问的高吞吐量,适用于大...原创 2019-08-28 17:22:49 · 261 阅读 · 0 评论 -
NodeManager概述(基本职能和内部架构)
概述NodeManager是运行在单个节点上的代理,它需要与应用程序的的ApplicationMaster和集群管理者ResourceManager交互: 从ApplicationMaster上接收有关Container的命令并执行之(比如启动,停止Container); 向ResourceManager汇报各个Container运行状态和节点健康状况,并领取有关Container的命令(比如清...翻译 2019-09-24 16:19:48 · 479 阅读 · 0 评论