一:基本概念
思考:假设有1000副扑克牌混在一起,里面只少了一张,你如何找出缺少这一张是什么呢?
1,我们可以一个人把1000副牌,一张一张的分类放置,所有的黑桃A,红心A,方块A。。。都进行分类放置,最后统计数数哪一种不够,这样就知道了少了那张牌。
2.上面的方法明显很慢,我们可以
(1)把1000副牌当做一个任务(job)
(2)将这1000副牌分成10份,每份100副牌,大约100x54=5400张牌,分别交给10个人去分类,分完类后
(3)每个人向第11个人汇报每张牌的个数,比如说
第一个人说我统计黑桃A有10张,红心A有4张,方块A有2张。。。
第二个人说我统计黑桃A有2张,红心A有3张,方块A有1张。。。
第三个人说我统计黑桃A有1张,红心A有2张,方块A有5张。。。
。。。。
这样的话第11个人就能很快的统计所有的牌,很快就知道了少了哪张牌。。
这个第二种方法的核心思想就是hadoop的核心思想 map-reduce思想,经过两步,先把一个大型问题分解为小
hadoop基本思想与概念
最新推荐文章于 2022-08-28 09:41:04 发布
本文介绍了Hadoop的基本思想,通过一个找扑克牌缺失的例子,阐述了MapReduce的思想,即大问题分解为小问题分别解决并汇总。同时,文章详细解释了Hadoop的三个关键概念:HDFS分布式文件系统、MapReduce处理框架以及Block、NameNode和SecondaryNameNode的角色。这是一个由浅入深的Hadoop学习系列的第一部分。
摘要由CSDN通过智能技术生成