体系结构
yangfazhi3014
这个作者很懒,什么都没留下…
展开
-
hadoop菜鸟的学习笔记---Hadoop体系结构
语言是表达思想最有利的武器! HDFS和MapReduce是Hadoop体系结构的核心,HDFS在集群上实现了分布式文件系统,MapReduce在集群上实现了分布式计算和处理任务。HDFS在MapReduce任务处理过程中提供了对文件操作和存储的支持,MapReduce在HDFS基础上实现了任务的分发、跟踪、执行等工作,并收集结果。 HDFS采用了主从Master/Slave结构模型,HDFS原创 2015-05-14 15:36:04 · 433 阅读 · 0 评论 -
hadoop菜鸟学习笔记--MapReduce笔记
MapReduce处理大数据集的过程是把大数据集分解成为成百上千个小数据集,每个数据集分别由整个HDFS集群中一个节点进行处理并生成中间结果,然后将这些中间结果又由大量的节点合并,形成最终结果。其原理是 1、数据的分布式存储 HDFS和普通的文件系统一据,每一份Block还会复制成数份数据存储到不同的DataNode上,而NameNode成为整个HDFS的核心,它通过维护一些数据结构来记录每一原创 2015-05-14 16:22:48 · 500 阅读 · 0 评论 -
菜鸟的hadoop的学习笔记--HDFS笔记
本人纯属菜鸟,写这个博客目的主要是为了加深理解,高手勿喷! MapReduce的补充:完整的Map/Reduce的作业过程会把输入的数据分成很多独立的块,Map任务以完全独立的方式来处理他们,Map处理后的中间结果会被排序,然后分组进入到Reduce任务中,作业的输入输出都会放在文件系统中,Map/Reduce框架和HDFS运行在相同的节点,那么计算和存储操作都会在同一个节点上面进行。Mas原创 2015-05-14 22:16:51 · 448 阅读 · 0 评论