mapreduce实现wordcount 详细解析
总括Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。HDFS是Google File System(GFS)的开源实现,MapReduce是Google MapReduce的开源实现。HDFS和MapReduce实现是完全分离的,并不是没有HDFS就不能MapReduce运算。1、MapReduce整体流程最简单的MapReduce应用程序至少包含 3 个部分:一个 Map 函数、一个 Reduce 函数
原创
2020-12-05 19:58:44 ·
5529 阅读 ·
1 评论