map和reduce

在整个的MapReduce任务过程中，可以分为两个阶段：map阶段和reduce阶段。并map阶段和reduce阶段通过shuffle来进行连接。

map阶段和reduce阶段两个阶段都以键-值对的形式作为输入和输出的类型。并且，该类型由程序员根据实际的需求来进行选择。程序员还需要给map阶段和reduce阶段写两个函数：map函数和reduce函数。

map函数是数据准备阶段，通过map函数对数据进行准备后，由reduce函数来进行数据处理。

• map函数阶段：

  • 输入内容：完整的数据集文件。

  • 函数功能：将输入的数据集中每个后续要用到的字段数据提取出来，筛掉没用的、缺失的、可疑的和明显错误的数据。并将筛选好的数据整理为K-V类型。

    K-V类型：

    • 其中K得值应具有确定型，就像数据库中的主键(不必唯一)，便于后续阶段的数据分组处理的索引。
    • 其中V得值为后续阶段需要判断的数据内容。

    以各班学生的身高举例，输出应为：

    {(1, 172), (1, 177), (1, 188), (2, 178), (1, 202), (3, 198), (4, 199), (2, 198)}

  • 输出内容：将整理好的K-V类型数据列表。（将作为reduce函数的输入）

• reduce函数阶段：

  • 输入内容：map阶段输出的K-V类型。
  • 函数功能：按照项目要求，对输入的K-V列表进行相应的要求操作。
  • 输出内容：要求输出的结果。

笔记内容为作者学习总结，欢迎大家交流探讨，如有侵权，联系作者。
更多内容请关注公众号：玖柒壹点点