Hadoop
Jenson97
这个作者很懒,什么都没留下…
展开
-
YARN详解(ResourceManager/ApplicationMaster/NodeManager/Container)
一、YARN基本思想YARN是Hadoop2.0中的资源管理系统,它的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。其中RM负责整个系统的资源管理和分配,而AM负责单个应用程序的管理。这里的应用程序是指传统的MapReduce作业或作...原创 2020-04-24 19:17:54 · 5896 阅读 · 0 评论 -
HDFS笔记,NameNode、SecondaryNameNode、DataNode功能
NameNode、SecondaryNameNode、DataNodeNameNode(1)管理元数据(2)响应客户请求SecondaryNameNode减少NameNode工作量DataNode(1)存储数据块(2)执行文件读写HDFS常用命令:NameNode(1)管理元数据元数据管理有三种方式:内存元数据;磁盘元数据镜像文件(FsImage),FsImage里面记录了自最后一次检...原创 2020-04-14 15:51:47 · 1133 阅读 · 0 评论