Hadoop
阳佟又晴
这个作者很懒,什么都没留下…
展开
-
YARN简介
YARN YARN(Yet Another Resource Negotiator)是Hadoop的集群资源管理系统。 分布式计算框架(MapReduce,Spark)作为YARN应用运行在集群计算层(YARN)和集群存储层(HDFS和Hbase)之上。而Pig,Hive等都是运行在MapReduce,Spark之上的处理框架,它们不和YARN直接打交道。 HDFS,HBase -> YAR...原创 2019-05-14 11:43:30 · 115 阅读 · 0 评论 -
MapReduce工作机制
运行机制 调用Job的submit()方法运行MapReduce作业,也可以调用waitForCompletion(),它用于提交以前没有提交的作业并等待它的完成。 客户端,提交MapReduce程序 YARN资源管理器,负责协调集群上计算机资源的分配 YARN节点管理器,负责启动和监视集群中及其上的计算容器 MapReduce的application master,负责协调运行MapReduc...原创 2019-05-15 16:36:47 · 125 阅读 · 0 评论 -
HDFS简介
HDFS(Hadoop Distributed Filesystem) HDFS的设计 设计理念:一次写入,多次读取。 HDFS上的文件是被划分为块,块作为独立的存储单元(默认128M),且HDFS中小于一个块大小的文件不会占据整个块。 一个文件的大小可以大于网络中任意一个磁盘的容量 大大简化存储系统的设计:简化存储管理 块适合用于数据备份而提高数据容错能力和提高可用性 HDFS的可靠性,给数...原创 2019-05-13 16:36:10 · 92 阅读 · 0 评论