map reduce案例超详细讲解

已于 2022-06-30 00:58:43 修改
阅读量2.2k 收藏 21
点赞数 2
分类专栏： linux 数据分析 数据预处理 文章标签： mapreduce 大数据
于 2022-06-29 14:48:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/THREEFUCT/article/details/125147523
版权

实验一：对输入文件统计单词频率

A good beginning is half the battle,
Where there is a will there is a way.
There is no royal road to learning.

map输出，分割单词增加尾部1，方便统计

import sys

for line in sys.stdin:
	ss = line.strip().split(' ')
	for word in ss:
		print('\t'.join([word.strip(),'1']))

reduce统计

import sys

cur_word = None
sum = 0

for line in sys.stdin:
	word,cnt = line.strip().split('\t')

	if cur_word == None:
		cur_word = word

	if cur_word != word:
		print('\t'.join([cur_word,str(sum)]))
		cur_word = word
		sum = 0

	sum += int(cnt)
	
print('\t'.join([cur_word,str(sum)]))

调用管道符测试

cat data.txt | python map.py | sort -k 1 | python reduce.py

在这里插入图片描述
上面是一个简单的例子
加大一点点难度
使用MapReduce实现如下功能(要mapreduce思维实现，考虑多节点协同处理，非以往的Python单节点处理数据思维)

现有数据 emp.csv 、 dept.txt
emp.csv ----------------------------- ------------------------ dept.csv
部门编号 姓名 年龄 -------------------- 部门编号 部门名称
20 zhaoyi 30 ----------------------------------- 20 技术部
30 liuer 25 ----------------------------------- 10 人事部
10 zhangsan 31 ----------------------------------- 30 财务部
20 lisi 40
30 wangwu 30
20 sunliu 22

最终要输出的如下

部门名称 人员列表
人事部 zhangshan:31
技术部 zhaoyi-30 ,lisi-40, sunliu–22
财务部 liuer-25,wangwu—30

这个是找的答案的

# Map：
import sys 
import io 
input_str = io.TextIOWrapper(sys.stdin.detach(),encoding='utf-8 ')
for line in input_str: 
     datas = line.strip().split(',')
     if(len(datas)==3):
           dept = datas[0]
           name = datas[1]+'-'+datas[2]
           print(dept+'\t'+name)
     if(len(datas)==2):
            dept = datas[0]
            name = datas[1]
            print(dept+'\t'+'*'+name)






# Reduce：
import sys 
import io 
input_str = io.TextIOWrapper(sys.stdin.detach(),encoding='utf-8 ')
cur_dept = None 
emp_list='' 
dept_name=''
for line in input_str: 
        dept, name = line.strip().split('\t')
        if cur_dept == None:
            cur_dept = dept
        if cur_dept != dept:
            print('\t'.join([dept_name, emp_list]))
            cur_dept = dept 
            emp_list = ''
        if "*" in name:
            dept_name = name[1:]
        else:
            emp_list += name + ','
            print('\t'.join([dept_name, emp_list]))

这个过程嘛……上面那个哟有点长我丢

在这里插入图片描述
按照这个分步骤一下
map的输入

cat demo.csv | python map2.py
k1v1
1部门编号 ， 姓名 ，年龄
220 ， zhaoyi， 30
330 ， liuer ， 25
410 ， zhangsan， 31
520 ， lisi ， 40
630 ， wangwu ， 30
720 ，sunliu ，22
820 ， 技术部，
930 ， 财务部，
1010 ， 人事部，

先用一个csv把他们装起来
首先第一步我们在虚拟机上创建了文件：demo.csv 这个文件是题目两个文件合起来的，也可以用管道符合起来这里为了方便就没有用

文件的内容

20,zhaoyi,30
30,liuer,25
10,zhangsan,31
20,lisi,40
30,wangwu,30
20,sunliu,22
20,技术部
10,人事部
30,财务部

我们观察发现，第一行，到第六行，它有部门编号，名字，年龄
第七行到第九行是编号和部门名字
所以他们的区别在于长度不一样
在这里插入图片描述

#我们首先把map接受的东西区分一下
#1、第一他是有要分开的，一个是人的名字，一个是部门的名字
#2.增加一些东西给他去分开

import sys
for line in sys.stdin:
    print(line)#我们可以看看数据是怎样的

在这里插入图片描述

    #line我们需要进行分割
    line = line.strip().split(",")#按照','分割
    #第一步取出部门编号 和人名
    #区别
    print(len(line))
    #line的长度，带人名的是3 部门的是2

在这里插入图片描述
完整map代码

#我们首先把map接受的东西区分一下
#1、第一他是有要分开的，一个是人的名字，一个是部门的名字
#2.增加一些东西给他去分开

import sys
for line in sys.stdin:
    #line我们需要进行分割
    line = line.strip().split(",")#按照','分割
    #第一步取出部门编号 和人名
    #区别
    #line的长度，带人名的是3 部门的是2
    #分类
    if len(line)==3:#带人名的是3
        #按照题目要求
        #输出--ID--------------名字-------------年龄
        print(line[0] + "\t" + line[1] + "-" + line[2])
    else:#部门的是2
        #这里用*和他们分开
        #输出--ID--------------*--部门名字
        print(line[0]+"\t"+'*'+line[1])

map的输出

k2v2
20zhaoyi-30
30liuer-25
10zhangsan-31
20lisi-40
30wangwu-30
20sunliu-22
20*技术部
10*人事部
30*财务部

对输出排序后交给reduce2处理

cat demo.csv | python map2.py |sort -k 1 |python reduce2.py
k3v3
10zhangsan-31
10*人事部
20lisi-40
20sunliu-22
20zhaoyi-30
20*技术部
30liuer-25
30wangwu-30
30*财务部

首先我们创建容器来装我们要的数据

id_name = None#这个用来装 ID
bm_name=" "#这个用来装     部门的 名字
yg_name=" "#这个用来装     员工的 名字

接着我们对k3,v3读取

for line in sys.stdin:
    #老规矩我们查看一下这个line，发现管道符命令已经对他排好序了，而且部门是放在最后一位的
    #k3,            v3
    # id(部门id)  massage(部门名字人名年龄那些)
    # 10         zhangsan - 31
    # 10           * 人事部
    id,massage = line.strip().split('\t')  #k3,v3创建

#第一步
#记录ID 确定输出的时候（什么时候完成了一个部门的总结就输出）

记录一个id

    if id_name==None:#也就是这个id_name还没有任何数据的时候
        id_name = id#那就把这个ID记录到这个id_name里面

确定输出的时候

f id_name != id:#这个是判断新的ID他是一个个读取的
        #例如读取到下面上一个的ID和下一个不一样的时候
        #10      *人事部
        #20      lisi-40
        #也就是编号10的部门以及读取完了这个时候对吧，所以他的10就可以输出了
        #输出       部门名字           员工信息
        print(str(bm_name)+"\t"+str(yg_name))

记录下一个id

        id_name = id  # 那就把这个不一样的ID记录到这个id_name里面
        #然后别忘记把员工的信息清空，因为你总不可能记录这个部门还保存着上一个部门的员工信息，这样到时候输出就不好输出了
        yg_name = " "

#第二步骤
#通过ID 添加信息
#部门 + 人的名字-年龄

#第二步
    if "*" in massage:
        bm_name = massage[1:]
    else:
        yg_name += massage+';'#这里我就解释一下为什么这两个加法不一样，首先我们输出的是 部门1 员工1；员工2； 是这样的部门是直接替换原来的但是员工是累加的

完整代码

import sys
id_name = None#这个用来装 ID
bm_name=" "#这个用来装     部门的 名字
yg_name=" "#这个用来装     员工的 名字
for line in sys.stdin:
    id,massage = line.strip().split('\t')
    if id_name==None:
        id_name = id
    if id_name != id:
        print(str(bm_name)+"\t"+str(yg_name))
        id_name = id 
        yg_name = " "
    if "*" in massage:
        bm_name = massage[1:]
    else:
        yg_name += massage+';'
print(str(bm_name) + "\t" + str(yg_name))

在这里插入图片描述

这里最后这个输出为什么在外面呢，首先第一点是，当记录最后一个部门的时候
开始记录这个部门
20 --------------------------*技术部--------------------------
也就是读到部门编号不一样的时候，20-30的时候，他会做判断 if id_name != id:，然后输出这个部门的所有东西
30 -------------------------- liuer-25-----------从这里开始新的记录
30 -------------------------- wangwu-3030 *财务部--------------记录完成
但是下面已没有不同的id支持他输出了
于是利用for循环的一个特性输出，（遍历完成后输出最后一个）
这个的理解需要我们来进行一个小实验

list=[1,2,3]
for i in list:
      print('猜猜我在外面会输出一个怎么样的i')
 print(i)
输出 3也就是最后一组

总结reduce

在这里插入图片描述

现有如下文本文件 emp.txt

depnameempnosalary
develop115200
develop74200
develop94500
develop86000
develop105200
personnel53500
personnel23900
sales34800
sales15000
sales44800

请统计出每个员工和所在部门平均工资的差值。

步骤
1、截取 部门名字 员工编号 -员工工资
2、总结好部门名字 员工1编号-员工1工资,员工2编号-员工2工资
3、截取 员工编号 员工工资-部门平均工资
4、统计 员工编号 员工工资相减部门平均工资

1、map

import sys
for line in sys.stdin:
    line = line.strip().split(",")
    print(line[0] + "\t" + line[1] + "-" + line[2])
# type demo.csv | python map.py
# develop 7-4200
# develop 8-6000
# sales   1-5000
# sales   4-4800
# develop 10-5200
# personnel       5-3500
# personnel       2-3900
# sales   3-4800
# develop 9-4500
# develop 11-5200

2、reduce

import sys
for line in sys.stdin:
    #分割
    line = line.strip().split("\t")
    #员工收入
    emp_sal = float(line[1].split("-")[0])  
    #部门收入
    dept_sal = float(line[1].split("-")[1])
    #差值
    sub = emp_sal - dept_sal
    print("%s%s%.2f"%(line[0],"\t",sub))
# type demo.csv | python map.py | python Reduce.py |python map2.py|python reduce2.py
# 7       -900.00
# 8       900.00
# 1       100.00
# 4       -100.00
# 10      1000.00
# 5       -700.00
# 2       -300.00
# 3       -33.33
# 9       -333.33

3、map2

import sys

for line in sys.stdin:
    line = line.strip().split("\t")
    sum = line[0]
    emps = line[1]
    emp = emps.split(",")
    #遍历每一名员工
    for i in range(len(emp)):
        #员工编号
        emp_id = emp[i].split("-")[0]
        #给每个员工后面加上部门总收入，员工编号——员工收入——部门总收入
        emp[i] = emp[i] + "-" + line[0]
        #key：员工编号       value：员工收入——部门总收入
        print("%s%s%s"%(emp_id,"\t",emp[i].split(emp_id+"-")[1]))
# type demo.csv | python map.py | python Reduce.py |python map2.py
# 7       4200-5100.00
# 8       6000-5100.00
# 1       5000-4900.00
# 4       4800-4900.00
# 10      5200-4200.00
# 5       3500-4200.00
# 2       3900-4200.00
# 3       4800-4833.33
# 9       4500-4833.33
# 11      5200-4833.33

4、reduce2.py

import sys
for line in sys.stdin:
    #分割
    line = line.strip().split("\t")
    #员工收入
    emp_sal = float(line[1].split("-")[0])  
    #部门收入
    dept_sal = float(line[1].split("-")[1])
    #差值
    sub = emp_sal - dept_sal
    print("%s%s%.2f"%(line[0],"\t",sub))
# type demo.csv | python map.py | python Reduce.py |python map2.py|python reduce2.py
# 7       -900.00
# 8       900.00
# 1       100.00
# 4       -100.00
# 10      1000.00
# 5       -700.00
# 2       -300.00
# 3       -33.33
# 9       -333.33
南师大蒜阿熏呀
关注
  • 2
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
MapReduce简单程序示例
12-05
MapReduce简单程序示例
Hadoop-MapReduce介绍和入门案例(超级详细)
互联网知识分享
05-08 1534
07.6 HDFS其它功能论述.noteN.1 MapReduce定义1）Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析应用”的核心框架。 2）Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 hadoop集群上。3）MapReduce将计算过程分为两个阶段：Map和Reduce（1）Map阶段并行处理输入数据 (对数据进行切块)。（2）Reduce阶段对Map结果进行汇总(对数据进行合并)N
（十三）MapReduce的其他案例及总结_mapreduce案例实战报告总结(1)
最新发布
2401_84692429的博客
05-15 887
本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取自定义一个combiner继承Reducer，重写reduce方法在job中设置： job.setCombinerClass(CustomCombiner.class)3、combiner优化代码下面贴出Combiner的版本，对Wordcount进行了一次升级/**
hadoop学习整理——mapreduce数据分析案例（1）
程序员小菜鸡Cjp的博客
06-07 2882
有一份源数据文件，描述的是某餐饮公司各个分店在2019年和2020年的营业数据，源数据如下，请根据需求，编写MapReduce代码。 劲松店,600,350,2019年 劲松店,800,250,2020年 王府井店,1900,600,2020年 王府井店,2000,900,2019年 回龙观店,6700,1800,2020年 西单店,3000,1000,2019年 西单店,5000,1000,2020年 ,3500,1000,2020年 牡丹园店,3800,1400,2020年 牡丹园店,
MapReduce综合案例（4个）
06-16
1.社交网络综合评分案例 2.微博精准营销案例 3.物品推荐案例 4.QQ好友推荐案例
MapReduce实战小案例（自定义排序、二次排序、分组、分区）
fengxiandada的博客
06-26 6964
MapReduce实战小案例
MapReduce编程案例系列篇（01-15）
热门推荐
好学若饥，谦卑若愚
10-23 6万+
由于本人最开始接触大数据工作，主要以写MapReduce程序为主，虽然现在有流行的言论称MapReduce这种运行很慢的分布式计算编程框架将要被各种内存计算框架取代。但是MapRedcue也会吸收很多流行的内存计算的各种优点，我相信，将来，MapReduce绝对不会沦落到要淘汰的地步。甚至会后来居上。 在此，本人总结一篇关于MapReduce编程的各种典型应用场景编程案例，便于大家查阅学习...
几个关于MapReduce的小例子
yehongzhi1994的博客
03-06 7696
文章已收录到我的Github精选，欢迎Star：https://github.com/yehongzhi/learningSummary 写在前面 上一篇文章通过写一个WordCount学习了MapReduce的入门操作，那么这篇文章继续通过多一些例子来学习MapReduce。下面介绍几种比较常见的操作：排序，去重，求和，求平均数，TopK查询(查询排名前K名的记录) 排序 其实MapReduce会默认对Key进行升序自然排序，这显然是远远不够用的，下面我举个例子，输入的file1内容如下： 1,256.
MapReduce案例（五）
weixin_37901366的博客
04-21 1884
/分区规则,根据订单ID实现分区/**** @param text v2(一行的文本数据)* @param i ReduceTask个数* @return 分区编号*/@Override//根据订单id进行分区。
在solr文献检索中用map/reduce
12-02
2. **MapReduce的工作原理**：解释Map和Reduce阶段，以及中间键/值对的概念，如何处理数据分区和排序。 3. **SolrCloud与Hadoop集成**：SolrCloud是Solr的分布式版本，它可以与Hadoop生态系统无缝集成，实现文档的...
Python案例分析讲解.rar-综合文档
05-25
8. **函数式编程**：Python支持高阶函数和闭包，以及函数式编程的一些特性，如map()、filter()、reduce()，这些工具可以使代码更加简洁和优雅。 9. **单元测试**：Python的unittest模块提供了一套完整的单元测试...
flink-1.7超详细中文教程
03-17
4. **转换与操作**：详细介绍各种转换操作，如map、filter、keyBy、reduce等。 5. **数据 sink**：介绍如何将处理结果写入到不同的数据存储，如HDFS、Cassandra等。 **三、Flink实例解析** 实例部分通过实际案例...
js实例源码案例 精典案例
11-24
4. **数组与集合**：掌握Array对象的方法，如push、pop、shift、unshift、splice、slice、concat、join、map、filter、reduce等。同时，Set和Map是ES6引入的新数据结构，提供了更高效的查找和去重功能。 5. **DOM...
mapreduce案例代码及案例涉及文件
11-24
在案例中，注释可能详细解释了如何定义Reduce函数，以及如何正确处理中间键值对。 **排序与分组**： 在MapReduce中，为了确保Reduce函数能正确处理数据，Map阶段生成的中间键值对需要先进行排序和分组。排序确保了...
mapreduce常见案例
weixin_43853330的博客
06-14 4409
常见案例 1.二次排序 2.共同好友 3.点击流分析模型 案例一1：二次排序 原始数据 目标数据 代码 –Map/Reduce不需要改变，主要是SortComparator通过继承WritableComparator类，重写了compare方法，改变了hadoop默认的排序规则。 步骤1.建立对象存储数据，继承WritableComparable，添加序列化、反序列化、比较器 package...
MapReduce综合学习（含Word Count案例）
qq_43573663的博客
11-05 2255
文章目录MapReduce简介MapReduce适用的问题MapReduce的特点 MapReduce简介 MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处
Hadoop的mapreduce之分区Partitioner
严同学在努力
10-27 1265
Hadoop的mapreduce之美团数据分区Partition，提供代码可复制，这简单得有手就会的那种，
MapReduce案例-1
yaya_jn的博客
10-02 1422
a和b表示两个key进行比较，key要包含月份和年份}}}}记录特点每年每个月最高2天1天多条记录？进一步思考年月分组温度升序key中要包含时间和温度！MR原语：相同的key分到一组通过GroupCompartor设置分组规则。
MapReduce经典案例实战
weixin_43640161的博客
10-14 1万+
MapReduce经典案例实战 实验实现过程 重要知识点： MapReduce是一种分布式并行编程模型,是Hadoop核心子项目之一,如果已经安装了Hadoop，就不需要另外安装MapReduce。 主要的理论知识点： （1）倒排索引 倒排索引是文档检索系统中最常用的数据结构，被广泛应用于全文搜索引擎。倒排索引主要用来存储某个单词（或词组）在一组文档中的存储位置的映射，提供了可以根据内容来查找文档的方式，而不是根据文档来确定内容，因此称为倒排索引（Inverted Index）。带有倒排索引的文件我们称为
Hadoop MapReduce实战指南
2. **MapReduce编程模型**：介绍如何编写Map和Reduce函数，理解Mapper和Reducer的角色，以及中间键值对（Intermediate Key-Value Pairs）的概念。 3. **数据分片与分区**：理解数据如何被分割成适合Map任务的块，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南师大蒜阿熏呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值