第一个完整的Map/Reduce小程序

最新推荐文章于 2022-12-10 16:30:32 发布
最新推荐文章于 2022-12-10 16:30:32 发布
阅读量1k 收藏
点赞数 1
文章标签： MapReduce map reduce map函数 reduce函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luenxin/article/details/50731859
版权
本文介绍了作者在Windows环境下使用Eclipse和Hadoop进行MapReduce编程的经历。通过一个简单的MapReduce程序，实现了找出拨打过同一电话的电话号码的功能。Map阶段将数据分割并输出，Reduce阶段整合相同key的value，输出结果。程序运行过程中遇到了一些问题，但最终成功运行并展示了结果。
摘要由CSDN通过智能技术生成


          从在自己的win7下面装好虚拟机，然后在虚拟机上面安装hadoop，然后再安装hadoop-eclipse插件，过去好像有一个星期了，之前装虚拟机和hadoop都没成功，上个星期解除了封印，一口气把hadoop学习前期的所有的东西都搞定了，接下来就是遥遥无期的hadoop之路。希望自己能坚持下去。

         今天按着别人的思路在win7下面的eclipse里面敲了算是处女作的Map/Reduce程序，虽然很简单，但是自己还是一步一步的走通了，因为hadoop是安装在虚拟机上的，但是eclipse是在win7下面，所以在中间运行的时候会有一系列的错误，昨天晚上把遇到的问题百度的百度，问神的问神，烧香的烧香，基本上都解决了，现在能把程序跑起来，感觉自己的熬夜什么的都没有白费

          下面把一个完整的Map/Reduce程序贴出来，算是一个开始，也是一个纪念嘛！

     

        问题描述：

        先上数据：

         13599999999 10086

         13899999999      120

         13944444444 110

         13722222222 110

         18800000000 120

         13722222222 10086

         18944444444 10086

        

         要求是把拨打过同一个电话的电话输出来比如：

          110 13944444444,13722222222

         

         接下来就是Map/Reduce函数，

最低0.47元/天 解锁文章
攀峰者
关注
小程序 reduce_如何使用Reduce实现JavaScript实用程序功能？
cullen2012的博客
09-09 738
小程序 reduce When it comes to code in JavaScript, developers found reduce function as one of the toughest concepts to crack. According to Wikipedia, Reduce has multiple names viz. Accumulate, Fold, Com...
MapReduce程序的运行全貌
weixin_34405557的博客
07-24 83
为了更详细地探讨mapper和reducer之间的关系，并揭示Hadoop的一些内部工作机理，现在我们将全景呈现WordCount是如 何执行的，序号并非完全按照上图。 1 . 启动 调用驱动中的Job.waitForCompletion()是所有行动的开始。该驱动程序是唯一一段运行在本地机器上的代码，上述调用开 启了本地主机与J...
第一个MapReduce程序开发
Mekeater的博客
06-26 941
第一个MapReduce程序开发 前言 上篇博文已经搭建完成了Hadoop的开发环境，后面我们就需要专注于MapReduce的开发了。本文介绍如何利用MapReduce进行单词个数统计的代码实现，完整介绍一个Job作业的开发流程。 一、Job作业体系结构 一次Job作业包括5个阶段，其中只有Map阶段和Reduce阶段是需要我们去编写逻辑代码的，其它阶段都是自动完成。 二、单词统计（WordCount）例子分析 二、单词统计（WordCount）程序开发 1、将数据上传至HDFS aa.log的数据如
关联规则挖掘算法之Apriori算法的原理解析及代码实现
weixin_33957648的博客
05-30 410
为什么80%的码农都做不了架构师？>>> ...
map/reduce的概念
H_c_l的博客
05-17 2401
《MapReduce: Simplified Data Processing on Large Cluster 》翻译 MapReduce是一种编程模型和一种用来处理和产生大数据集的相关实现。用户定义map函数来处理key/value键值对来产生一系列的中间的key/value键值对。还要定义一个reduce函数用来合并有着相同中间key值的中间value。许多现实世界中的任务都可以用这种模型来表...
Hadoop完全分布式搭建过程、maven和eclipse配置hadoop开发环境、配置Map/Reduce Locations、简单wordcount测试!
SnowJ666的博客
01-04 1607
** Hadoop完全分布式搭建 ** 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： ...
filter、map、reduce结合使用
m0_46978034的博客
07-25 302
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Do
函数式编程——高阶函数(map/reduce/filter/sorted)、返回函数(闭包)
xjtuse123的博客
06-10 330
函数式编程是一种抽象程度很高的编程范式，纯粹的函数式编程语言编写的函数没有变量，因此，任意一个函数，只要输入是确定的，输出就是确定的，这种纯函数我们称之为没有副作用。而允许使用变量的程序设计语言，由于函数内部的变量状态不确定，同样的输入，可能得到不同的输出，因此，这种函数是有副作用的。Python对函数式编程提供部分支持，由于Python允许使用变量，因此，Python不是纯函数式编...
Hadoop应用程序
01-10
Hadoop的小程序，看代码比较方便，如果要运行，那么需要加很多jar build path，这些jar包大部分都是hadoop的jar。
【MapReduce开发】文件去重--第一个MapReduce小程序学习
Amber_amber的专栏
07-25 938
import java.io.IOException; import net.sf.json.JSONArray; import net.sf.json.JSONObject; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoo
小程序 reduce_用reduce制作的另外10个实用程序功能
cumian8165的博客
08-13 271
小程序 reduceThirty functions total! 共有30个功能！ This is my third article on Utility Functions Made with Reduce. 这是我的第三篇有关用Reduce制作的效用函数的文章。 Part one (10 functions) 第一部分 (10个功能) Part two (10 functions) ...
小程序 reduce_使用reduce制作的10个更多实用程序功能
08-14 396
小程序 reduceThis time, with a test suite! 这次，带有测试套件！ Previously I wrote about 10 utility functions implemented with JavaScript's reduce function. It was well-received, and I walked away with an even d...
ES6---数组map、reduce函数
热门推荐
诗水人间
07-01 17万+
数组map函数 传入一个函数，会按照函数的规则进行操作 let arr=["12","-1","10","5"]; arr = arr.map(item=>item*2);//最简洁的写法 //arr = arr.map(item=>{return item*2}); //写法2 console.log(arr);//[24,-2,20,10] 数组reduce函数 let arr=[12,-1,10,5]; let result = arr.
数组高阶函数：map()、filter()、reduce()
6块腹肌的博客
07-10 206
学习下这三个函数的用法 一：使用map方法对数组的每一项进行操作 这里演示一下对指定的数组的每一项元素进行乘2 const arr = [1, 2, 3, 4, 5]; let arr2 = arr.map(item => { return item * 2 }) console.log(arr2) // [2, 4, 6, 8, 10] 二：使用filter方法对数...
reduce使用（统计数量）
reembarkation的博客
07-06 609
计算选中节点个数的方法，reduce实现
微信小程序关于数组的操作
最新发布
shi450561200的博客
12-10 1万+
【代码】微信小程序关于数组的操作。
c++编程实现简单mapreduce程序
feinifi的博客
09-21 3714
hadoop提供了java版本的mapreduce编程API，我们需要自定义编写mapper和reducer，分别继承Mapper和Reducer，然后重写map和reduce方法。同时需要在main方法中构建job，然后指定mapper和reducer，最后提交任务。同时也支持c++编写mapreduce。hadoop有几种方式用c++实现mapreduce，这里介绍使用hadoop-s...
Hadoop Map/Reduce教程：全方位解析
4. **Mapper**：Mapper是处理输入数据的第一阶段，它接收输入数据块，对每个键值对执行用户定义的功能，并生成中间键值对。 5. **Reducer**：Reducer是处理Mapper输出的第二阶段，它对中间键值对进行分组，并执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值