MapReduce的工作过程分为两个阶段:map阶段和reduce阶段。每个阶段都有键/值对作为输入和输出,并且他们的类型可由程序员选择。程序员还具体定义了两个函数:map函数和reduce函数。
我们在map阶段输入的是原始的NCDC数据。我们选择的是一种文本输入格式,以便数据集的每一行都会是一个文本值。键是在文件开头部分文本起始处的偏移量,但我们没有这方面的需要,所以将其忽略。
map函数很简单。我们使用map函数来找出年份和气温,因为我们只对它们有兴趣。在本例中,map函数只是一个数据准备阶段,通过这种方式来建立数据,使得reducer函数能在此基础上进行工作:找出每年的最高气温。map函数也是很适合去除已损记录的地方:在这里,我们将筛选掉缺少的、不可靠的或错误的气温数据。
MapReduce原理
最新推荐文章于 2024-04-11 15:52:49 发布