MapReduce 练习一 找爷孙关系

最新推荐文章于 2023-11-05 15:36:27 发布
最新推荐文章于 2023-11-05 15:36:27 发布
阅读量2.3k 收藏 4
点赞数 1
分类专栏： hadoop-mapreduce 文章标签： hadoop mapreduce 练习题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kuanxiangqi0897/article/details/78846118
版权
这是一篇关于使用MapReduce解决实际问题的博客，通过处理child-parent关系数据，找出grandchild-grandparent的关系。实例中展示了如何从给定的数据集中挖掘爷孙关系，并提供了详细的代码解释。
摘要由CSDN通过智能技术生成

要求从给出的数据中寻找所关心的数据，它是对原始数据所包含信息的挖掘。下面进入这个实例。
实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）
child parent
Tom Lucy

Tom Jack

Jone Lucy

Jone Jack

Lucy Mary

Lucy Ben

Jack Alice

Jack Jesse

Terry Alice

Terry Jesse

Philip Terry

Philip Alma

Mark Terry

Mark Alma

关系家族谱
这里写图片描述

代码详解

  /***
     * Tom   Lucy
     Tom   Jack
     Jone   Lucy
     Jone   Jack
     Lucy   Mary
     Lucy   Ben
     Jack   Alice
     Jack   Jesse
     Terry   Alice
     Terry   Jesse
     Philip   Terry
     Phi
最低0.47元/天 解锁文章
顾疏影
关注
专栏目录
Hadoop之利用mapreduce输出祖孙关系
qq_45864778的博客
01-10 4244
一、总体解析： 1.需求 实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表。 数据如下： A1,A2 B1,A2 B2,A31 A2,A31 A2,A32 A31,A41 2.实现思路 核心实现思路： （1）在Map阶段，分别将父子关系与相反的子父关系在各个value前补上前缀"-“与”+"标识此key-value中的va...
MapReduce经典案例爷孙关系(自连接MapJoin和ReduceJoin的两种实现)
一名假的程序猿
08-05 1802
需求： 求出所有具有爷孙关系的人 数据来源： 儿子 父亲 Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mary Lucy Ben Jack Alice Jack Jesse Terry Alice Terry Jesse Philip Terry Philip Alma Mark Terry Mark Alma reduce-join 处理...
MapReduce编程(四) 单表关联
我只是一个简单的Coder，为了兴趣和理想奋斗在生活的道路上
03-05 2308
一、问题描述下面给出一个child-parent的表格，要求挖掘其中的父子辈关系，给出祖孙辈关系的表格。输入文件内容如下:child parent Steven Lucy Steven Jack Jone Lucy Jone Jack Lucy Mary Lucy Frank Jack Alice Jack Jesse David ...
分布式计算（六）：MapReduce（二）- 祖孙关系寻找
奔跑吧蚂蚁呀
08-31 1284
MapReduce求爷孙关系
Switfy的博客
08-22 4149
一、在网上找的题就拿来做了 要求从给出的数据中寻找所关心的数据，它是对原始数据所包含信息的挖掘。下面进入这个实例。 实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶） child   parent Tom   Lucy Tom   Jack Jone   Lucy Jone   Jack Lucy  
MapReduce实现单表关联
nankangren123的专栏
03-28 590
例如给出表child-parent表，要求输出grandchildren-grandparent表 给出： child parent Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mary Lucy Ben Jack Alice Jack Jesse   输出： Tom Alice
Mapreduce-1:python中的MapReduce的孙子/祖父母对
03-17
Mapreduce-1:python中的MapReduce的孙子/祖父母对
mapreduce单表关联----求爷孙关系
牛逸凡的博客
07-19 4859
一、问题描述 下面给出一个child-parent的表格，要求挖掘其中的父子辈关系，给出祖孙辈关系的表格。 输入文件内容如下: child parent Steven Lucy Steven Jack Jone Lucy Jone Jack Lucy Mary Lucy Frank Jack Alice Jack Jesse D...
mapreduce练习资源
04-03
该资源中中包含MapReduce的练习题，可以是你同过这些练习题更好的掌握MapReduce
分布式计算MapReduce | Spark实验
Polaris的博客
08-03 4132
输入文件为学生成绩信息，包含了必修课与选修课成绩，格式如下：班级1, 姓名1, 科目1, 必修, 成绩1 （注：为换行符）班级2, 姓名2, 科目1, 必修, 成绩2 班级1, 姓名1, 科目2, 选修, 成绩3 ………., ………, ………, ………, ……… 编写两个Hadoop平台上的MapReduce程序，分别实现如下功能：计算每个学生必修课的平均成绩。按科目统计每个班的平均成绩。输入文件的每一行为具有父子/父女/母子/母女/关系的一对人名，例如：Tim, Andy Harry, Alice M
实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表
徐冉的博客
05-30 4899
      一·需求描述：   要求从给出的数据中寻找所关心的数据，它是对原始数据所包含信息的挖掘。下面进入这个实例。 实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表。 =================样本输入：=================== child parent Tom Lucy T...
Hadoop-挖掘child-parent表中信息
qq_40301475的博客
05-28 1411
Hadoop平台MapReduce编程 目标：给出一个child-parent的表格，要求挖掘其中的父子辈关系，给出祖孙辈关系的表格。 输入文件table.txt内容如下： child parent Steven Lucy Steven Jack Jone Lucy Jone Jack Lucy Mary Lucy Frank Jack Alice Jack Jesse David Alice David Jesse Philip David Philip Alma Mark David Mark Alma
mapreduce的爷孙关系问题
weixin_45247609的博客
09-09 690
这个题目,相信大家在网上已经看到很多解决方案了,我在拿到这个题的时候,先想的是,爷爷找孙子,还是孙子找爷爷. 先上数据: Tom-Lucy Tom-Jack Jone-Lucy Jone- Jack Lucy-Mary Lucy-Ben Jack-Alice Jack-Jesse Terry-Alice Terry-Jesse Philip-Terry Philip-Alma Mark-Terry Mark-Alma 题目:左边数据是child 右边数据是parent 找到当中的孙子和爷爷奶奶 上代
单表关联
aiyan1350的博客
04-02 238
实例描述： 实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表。 样例输入如下所示。 file： 　　　　　　　　　　　　　　　　　　　　 child parent Tom Lucy Tom...
spark:单表关联案例
superXZT的博客
12-12 1060
spark单表关联       题目：求孙子和祖父母的关系列表 数据： child        parent Tom        Lucy Tom        Jack Jone        Lucy Jone        Jack Lucy        Mary Lucy        Ben Jack        Alice Jack        Jesse Terry ...
实验五 MapReduce初级编程实战
最新发布
qq_62907049的博客
11-05 759
大数据技术与原理第三版，林子雨
大数据从入门到实战 - 第3章 MapReduce基础实战，cz教你MapReduce实战操作
05-26 6210
第1关：成绩统计： 为了完成本关任务，你需要掌握：1.什么是MapReduce，2.如何使用MapReduce进行运算。 什么是MapReduce MapReduce是一种可用于数据处理的编程模型，我们现在设想一个场景，你接到一个任务，任务是：挖掘分析我国气象中心近年来的数据日志，该数据日志大小有3T,让你分析计算出每一年的最高气温，如果你现在只有一台计算机，如何处理呢？我想你应该会读取这些数据，并且将读取到的数据与目前的最大气温值进行比较。比较完所有的数据之后就可以得出最高气温了。不过以我们的经验都
spark的练习题（6）
橙以的博客
12-14 7909
1.排序：        定义三个文件对文件内容进行排序（数字） package com.hyxy.spark01 import org.apache.spark.{SparkConf, SparkContext} object listarray { def main(args: Array[String]): Unit = { val conf = new SparkCon...
MapReduce应用☞关联操作
qq_40759271的博客
01-30 472
主要是使用hadoop集群完成数据相关性简单分析 一、单表关联 单表关联”要求从给出的数据中寻找所关心的数据，它是对原始数据所包含信息的挖掘 1.1实例 给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表。 输入： child parent Tom Lucy Tom
mapreduce找爷孙 python
06-06
MapReduce是一种分布式计算框架，广泛应用于大数据处理。在MapReduce框架中，Map任务将输入数据分解为许多小的部分，每个小部分都会被分配给不同的Reducer。Reducer任务会处理各自不同的部分数据，并生成最终的结果。 在Python语言中，我们可以通过使用Hadoop Streaming来使用MapReduce框架。Hadoop Streaming是一个允许用户在MapReduce框架中使用任何可执行文件的工具，因此我们可以使用Python编写Map和Reduce函数，并将它们打包成可执行文件，从而在Hadoop Streaming中使用。 在MapReduce中，爷孙关系是一个非常常见的问题。举个例子，我们想要找到一个人的所有祖先或后代，就需要将人们按照他们的关系进行分类，父母属于祖先，子女属于后代。在Map阶段，我们可以使用键值对的形式将所有人按照他们的关系进行映射，键是父母（或子女），而值则是他们的孩子（或父母）。在Reduce阶段，我们可以遍历这些映射，并递归地查找他们的祖先或后代。 在Python中，我们可以使用字典作为数据结构来实现爷孙关系的查找。在Map任务中，我们将字典的键设置为父母（或子女），并将对应值设置为他们的孩子（或父母）。在Reduce任务中，我们可以使用递归函数来查找所有相关的祖先或后代，并将结果存储在一个列表中。 总之，使用MapReduce和Python可以很方便地实现爷孙关系的查找，这在大数据处理和家谱研究等领域中非常有用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值