MapReduce和sparks运行wordcount案例过程分析
MapReduce执行wordcount案例分析1、先将磁盘中的文件读入到内存,按行读取,如图所示2、将文件分割成每个一行一行数据之后,MapReduce框架会自动将我们的一行一行数据转化为<key,value>形式,这个key默认的就是该行数据的首字符在之前文本中的位置,value就是该行字符串,如图所示。3、将分割好的<key,value>对交给用户定义的map方法进行处理,生成新的<key,value>对,如图4、得到map方法输出的<key,v
原创
2020-07-08 20:52:29 ·
413 阅读 ·
1 评论