一些算法的MapReduce实现——有向图求边的交集

最新推荐文章于 2023-06-14 23:23:06 发布

joeywen

最新推荐文章于 2023-06-14 23:23:06 发布

阅读量2.6k

点赞数

分类专栏：一些算法的MapReduce实现一些算法的MapReduce实现文章标签： mapreduce algorithm Hadoop 分布式

本文链接：https://blog.csdn.net/wzhg0508/article/details/17429913

版权

本文介绍了如何使用MapReduce在Hadoop上解决有向图边的交集问题。通过给出的输入数据格式，每个图的边被表示为Graph_id, source, destination，目标是找出所有图的公共边。文章提供了具体的Hadoop代码实现，并引用了相关教程作为参考。" 119563944,9171053,Mac上安装与配置Eclipse IDE,"['Eclipse IDE', 'Mac', 'Java开发', '软件安装']

摘要由CSDN通过智能技术生成

Problem

如下图所示，求这三个graph的公共边，也即是途中有色粗线所示

Input

输入格式：

Graph_id<tab>source<tab>destination

上图数据输入格式例子：

graph1<tab>node1<tab>node3
 graph1<tab>node1<tab>node2
 graph1<tab>node2<tab>node3
 graph1<tab>node2<tab>node7
 graph1<tab>node2<tab>node4
 graph1<tab>node3<tab>node4
 graph1<tab>node3<tab>node5
 graph1<tab>node4<tab>node6
 graph1<tab>node4<tab>node6
 graph2<tab>node1<tab>node2
 graph2<tab>node1<tab>node2
 graph2<tab>node1<tab>node7
 graph2<tab>node2<tab>node4
 graph2<tab>node2<tab>node5
 graph2<tab>node2<tab>node7
 graph2<tab>node3<tab>node5
 graph2<tab>node4<tab>node6
 graph2<tab>node7<tab>node3
 graph3<tab>node1<tab>node3
 graph3<tab>node1<tab>node2
 graph3<tab>node2<tab>node4
 graph3<tab>node2<tab>node7
 graph3<tab>node3<tab>node5
 graph3<tab>node3<tab>node6
 graph3<tab>node4<tab>node7
 graph3<tab>node5<tab>node6

Output

node1:node2<tab>graph3^graph2^graph1
 node2:node4<tab>graph3^graph2^graph1
 node2:node7<tab>graph3^graph2^graph1
 node3:node5<tab>graph3^graph2^graph1

Hadoop Code

import package HadoopGTK;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.ma