- 博客(12)
- 收藏
- 关注
RSS订阅翻译 NodeManager概述(基本职能和内部架构)
概述NodeManager是运行在单个节点上的代理,它需要与应用程序的的ApplicationMaster和集群管理者ResourceManager交互: 从ApplicationMaster上接收有关Container的命令并执行之(比如启动,停止Container); 向ResourceManager汇报各个Container运行状态和节点健康状况,并领取有关Container的命令(比如清...
2019-09-24 16:19:48
559
翻译 个人博客搭建全记录(Hexo,Github)
搭建过程主要借鉴小歪的博客博客主题airclodHexo,Github建站记录1. 准备Github账号注册登陆Github创建Repository,Repository Name就是YourName.github.io(YourName : 就是注册用户名)安装Git安装Node.js下载Node.JsWindow用户使用安装程序进行安装.安装时,勾选Add to PAT...
2019-09-17 17:13:48
243
原创 Kubernetes --- 详细介绍和架构详解
Kubernetes是一个跨主机集群的开源的容器调度平台,它可以自动化应用容器的部署,扩展和操作,提供以容器为中心的基础架构目录一. Kubernetes用途二. Kubernetes特点三. 介绍容器技术四. Kubernetes能做什么?五. 使用Kubernetes的好处六. 了解架构一. Kubernetes用途Kubernetes是容器集群管理系统,是一个开源的平台...
2019-09-12 15:46:12
362
翻译 使用kubeadm方式安装K8S
Kubeadm安装kubeadm是Kubernetes官方提供的用于快速安装Kubernetes集群的工具，伴随Kubernetes每个版本的发布都会同步更新，kubeadm会对集群配置方面的一些实践做调整，通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。安装Docker ceDocker安装每个机器都需要装环境准备编辑hosts对应关系cat ...
2019-09-11 15:01:21
242
翻译 ResourceManager学习之Application,状态机管理
Application管理YARN中,Application是指应用程序,他可能启动多个运行实例,每个运行实例由一个ApplicationMaster与一组该ApplicationMaster启动的任务组成,他拥有名称、队列名、优先级等属性,是一个比较宽泛的概念,可以是一个MapReduce作业、一个DAG应用程序，设置可以是一个Storm集群实例(1) ApplicationACLsMana...
2019-09-05 15:40:32
320
翻译 ResourceManager学习之ApplicationMaster,NodeManager管理
ApplicationMaster管理部分主要由三个服务构成，分别是ApplicationMasterLauncher、AMLivelinessMonitor和ApplicationMasterService，它们共同管理应用程序的ApplicationMaster的生命周期ApplicationMasterLauncher、AMLivelinessMonitor和ApplicationMast...
2019-09-03 15:47:42
474
翻译 ResourceManager基本职能和内部架构
YARN也采用了Master/Slave结构，其中，Master实现为ResourceManager，负责整个集群资源的管理与调度；Slave实现为NodeManager，负责单个节点的资源管理与任务启动ResourceManager是整个YARN集群中最重要的组件之一，它的设计直接决定了系统的可扩展性、可用性和容错性等特点，它的功能较多，包括ApplicationMaster管理（启动、停止等）...
2019-09-02 14:35:03
2409
翻译 YARN底层基础库
YARN基础库是其他一切模块的基础,它的设计直接决定了YARN的稳定性和扩展性,YARN借用了MRV1的一些底层基础库,比如RPC库等,但因为引入了很多新的软件设计方式,所以它的基础库更多,包括直接使用了开源序列化框架Protocol Buffers和Apache Avro,自定义的服务库、事件库和状态机等目录一. 概述二. Protocol Buffers三. Apache Avro...
2019-08-30 16:59:32
178
翻译 Hadoop RPC机制详解
网络通信模块是分布式系统中最底层的模块,他直接支撑了上层分布式环境下复杂的进程间通信逻辑,是所有分布式系统的基础。远程过程调用(RPC)是一种常用的分布式网络通信协议，他允许运行于一台计算机的程序调用另一台计算机的子程序，同时将网络的通信细节隐藏起来，使得用户无需额外地为这个交互作用编程，大大的简化了分布式程序开发作为一个分布式文件系统，Hadoop实现了自己的RPC通信协议，他是上层多个分布式...
2019-08-29 16:47:21
255
翻译 Yarn介绍(设计理念与基本架构)
Yarn : 新的计算框架，是一个全局资源管理器，负责整个集群的资源管理和分配一. Yarn产生背景 Hadoop1.0MR有局限性,概括为以下几个方面 : 扩展性差 可靠性差 资源利用率低 无法支持多种计算框架 为克服Hadoop1.0中MR存在各种问题而提出了Yarn,它将JobTracker中的资源管理和作业控制功能分开,分别由...
2019-08-28 17:32:25
889
原创 Hadoop简介
Hadoop : Hadoop是Apache基金会旗下的一个分布式系统基础架构.主要包括 : 分布式文件系统HDFS,分布式资源管理系统Yarn.可以使得用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的分布式能力进行运算和存储Hadoop核心构成 分布式文件系统HDFS Hadoop分布式文件系统(HDFS)能提供对数据访问的高吞吐量,适用于大...
2019-08-28 17:22:49
294
原创 Hadoop1.0和Hadoop2.0底层架构
Hadoop架构1. Hadoop 1.01.1 HDFS1.2 MapReduce2. Hadoop 2.02.1 Yarn : 资源管理系统扫码关注,一起学习进步,回复'分享',会有惊喜等着你~1. Hadoop 1.0Hadoop是一个开源的分布式系统框架第一代Hadoop从资源管理到任务调度都采用了主从结构Hadoop1.0有两个核心组件，HDFS和MapReduce1.1 HD...
2019-08-27 17:40:24
705
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人