MapReduce
文章平均质量分 93
IT小强哥
这个作者很懒,什么都没留下…
展开
-
对两个文件里的单词出现次数进行统计(查询结果:a-p一个文件,q-z一个文件)【本地模式】
需求 对两个文件里的单词出现次数进行统计(查询结果:a-p一个文件,q-z一个文件) 输入文件1(word01.txt) Hadoop Spark Hive Hbase Hadoop Spark 输入文件2(word02.txt) Java php Android Html5 Bigdata python 计算结果: part-r-00000 Android 1 Bigdata 1 Hadoop 2 Hbase 1 Hive 1 Html5 1 php 1 python 1 part-r-0原创 2021-05-30 14:51:55 · 300 阅读 · 0 评论 -
MapReduce概述
1.MapReduce定义 MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并行运行在一个Hadoop集群上。 2.MapReduce优缺点 优点 1)MapReduce 易于编程 它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序,跟写一个简单的串行程序是一模一样的。原创 2021-06-01 20:12:44 · 327 阅读 · 4 评论