![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
XQ_WYL
这个作者很懒,什么都没留下…
展开
-
大数据入门之Hadoop生态系统(7) -- MapReduce概念
1.MapReduce概述 MapReduce是面向大数据并行处理的计算模型、框架和平台。 2.MapReduce编程模型,通过wordcount词频统计分析举例 这里我们通过一张图来进行分析。 Input:就是我们输入的文件的中的单词。 Splitting:我们按照行来拆分成三个文件,我们有三个作业对三个拆分的文件进行并行处理。 Mapping:按照指定的分隔符,把每个输入文件拆...原创 2018-08-20 15:56:43 · 296 阅读 · 0 评论 -
大数据入门之Hadoop生态系统(8) -- MapReduce词频统计Java编程实现
1.前置要求 IDEA,JDK1.7+,Maven3.3.9+ 我们在编程之前,先准备一份hello.txt文件(放在虚拟机Linux系统下),用来后续的编程测试,内容随便写点就行,单词和单词之间以空格分隔。 hadoop welcome hadoop hdfs mapreduce hadoop hdfs 2.代码编写 package com.imooc.hadoop.mapredu...原创 2018-08-20 17:24:48 · 1155 阅读 · 0 评论