【大数据】Hadoop
文章平均质量分 84
21989939
这个作者很懒,什么都没留下…
展开
-
hadoop集群搭建
4. 集群搭建4.1 HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNodeYARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager(那mapreduce是什么呢...原创 2018-03-27 11:38:36 · 242 阅读 · 0 评论 -
hdfs详解
******HDFS基本概念篇******1. HDFS前言l 设计思想分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; l 在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 2. HDFS的概念和特性首先,它是一个文件系统,用于存储文件,...原创 2018-03-27 11:51:53 · 486 阅读 · 0 评论 -
Hadoop Yarn 框架原理及运作机制
1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。1.2 YARN基本...转载 2018-04-25 16:25:29 · 382 阅读 · 0 评论