![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MR
文章平均质量分 51
黑皮磊
这个作者很懒,什么都没留下…
展开
-
MapReduce的学习
MapReduce :java编写数仓开发 sql=》 HiveMapReduce easily writing application 轻松编写应用程序对于如何容错,如何进行RPC通信等,开发人员不需要关注,关注我们的业务即可,这方面来讲是easily 但是对MR开发很麻烦 相较于SPARK(业务逻辑 + MR框架自带的内置组件=》 分布式应用程序开发)Map:映射 把一个任务拆解成多个Reduce:聚合 把拆解的任务做最后的聚合操作wordcount 举例子hdf原创 2022-03-26 03:18:59 · 126 阅读 · 0 评论 -
Hadoop Wordcount案例用Java编写MapReduce
1.Maven 本地环境搭建,请看上一篇文章本地Maven环境配置2.打开Ieda工具,新建Mavenpeoject3.编写Mapper类package WC;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Map原创 2022-03-30 02:10:36 · 1659 阅读 · 0 评论