hadoop基本思想与概念

一：基本概念
思考：假设有1000副扑克牌混在一起，里面只少了一张，你如何找出缺少这一张是什么呢？
1，我们可以一个人把1000副牌，一张一张的分类放置，所有的黑桃A,红心A,方块A。。。都进行分类放置，最后统计数数哪一种不够，这样就知道了少了那张牌。
2.上面的方法明显很慢，我们可以
(1)把1000副牌当做一个任务（job）
(2)将这1000副牌分成10份，每份100副牌，大约100x54=5400张牌，分别交给10个人去分类，分完类后
(3)每个人向第11个人汇报每张牌的个数，比如说
第一个人说我统计黑桃A有10张,红心A有4张,方块A有2张。。。
第二个人说我统计黑桃A有2张,红心A有3张,方块A有1张。。。
第三个人说我统计黑桃A有1张,红心A有2张,方块A有5张。。。
。。。。
这样的话第11个人就能很快的统计所有的牌，很快就知道了少了哪张牌。。
这个第二种方法的核心思想就是hadoop的核心思想 map-reduce思想,经过两步，先把一个大型问题分解为小问题，然后再分别解决，最后再汇总。