深入理解与应用Hadoop中的MapReduce

戳蓝字“CSDN云计算”关注我们哦！

 

作者：安静的技术控 

来源：CSDN 

原文：

https://blog.csdn.net/a2011480169/article/details/52924955 

版权声明：本文为博主原创文章，转载请附上博文链接！

现在大数据是越来越火了，而我自己研究这方面也很长时间了，今天就根据我自己的经验教会大家学会如何使用MapReduce，下文中将MapReduce简写为MR。

本篇博客将结合实际案例来具体说明MR的每一个知识点。

1、本篇博客核心内容

2、MR的基本概念

3、MR中map函数和reduce函数如何编写

4、MR程序的基本编写流程(MR的基本执行过程)

下面将用一个具体的电信业务说明MR最基本的编写过程：
实验所用数据:

具体字段描述:

业务要求:统计同一个用户的上行总流量和，下行总流量和以及上下总流量和
例如：

代码示例：

运行结果：

5、MR程序的优化方式1---分区

具体业务描述：对于上面的电信数据，统计同一个用户的上行总流量和，下行总流量和以及上下总流量和，并且手机号(11位)的信息输出到一个文件中，非手机号(8位)的信息输出到一个文件中

代码示例

运行结果：

6、MR程序的优化方式2---自定义排序

业务描述:
对于上面业务得到的统计结果:

---

先按照总流量由低到高排序，在总流量相同的情况下，按照下行流量和从低到高排序:

实例代码:

运行结果:

7、MR程序的优化方式3---本地归并Combine

具体业务描述：对于上面的电信数据，统计同一个用户的上行总流量和，下行总流量和以及上下总流量和，代码中要求加入本地归并优化方式:
代码示例：

运行结果：

8、MR程序的优化方式4---自定义计数器

9、如何用MR实现某个业务的方式总结

1.微信群：

添加小编微信：color_ld，备注“进群+姓名+公司职位”即可，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！

2.征稿：

投稿邮箱：liudan@csdn.net；微信号：color_ld。请备注投稿+姓名+公司职位。

推荐阅读

• 云计算到底是怎么玩的？

• 面向对象编程，再见！

• AI女性界的“扛把子”，凭一己之力迫使NIPS改名

• 00后也会「玩」区块链，你对「朝阳」行业焦虑啥 ？| 圣诞特辑
  

• 20k~65k, 2018年最后一波热门技术岗位, 立刻投简历, 跳槽才是加薪的捷径
  

• 可替代Android的6大开源移动操作系统

• 程序员求助：被领导强行要求写Bug该怎么办？网友的回答让我笑翻
  

点击“阅读原文”，查看原文

喜欢就点击“好看”吧！