Hadoop/MapReduce 查找、统计和列出大图中的所有三角形

最新推荐文章于 2019-12-29 12:31:26 发布
最新推荐文章于 2019-12-29 12:31:26 发布
阅读量1.3k 收藏 7
点赞数 2
分类专栏： 大数据 文章标签： Hadoop MapReduce 图 三角形
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csj941227/article/details/78641014
版权 



package cjtriangle;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class CJTriangle_Step1 extends Configured implements Tool  {
    
    public static class CJTriangleMapper extends Mapper<LongWritable, Text, Text, Text>
    {
        @Override
        protected void map(
                LongWritable key,
                Text value,
                Context context)
                throws IOException, InterruptedException {
               String tokens[] = value.toString().split(",");
               if(tokens == null || tokens.length < 2)
                   return;
               context.write(new Text(tokens[0]), new Text(tokens[1]));
               context.write(new Text(tokens[1]), new Text(tokens[0]));
           }
        }
    
    public static class CJTrianglerReducer extends Reducer<Text, Text, Text, Text>
    {
        @Override
        protected void reduce(
                Text key,
                Iterable<Text> values,
                Context context)
                throws IOException, InterruptedException {
            System.out.println("---------------------------------CJTrianglerReducer----------------------------------");
            System.out.println("key =" + key );
            System.out.println("values:");
            List<String> list = new ArrayList<String>();
            Iterator<Text> iterator = values.iterator();
            while(iterator.hasNext())
            {
                Text value = iterator.next();
                list.add(value.toString());
            }
            for(int i = 0; i < list.size(); i ++)
            {
                System.out.println("value:" + list.get(i));
                context.write(new Text(key + "," + list.get(i)), new Text("" + -1));
                for(int j = i+1; j < list.size(); j ++)
                {
                    context.write(new Text(list.get(j) + "," + list.get(i)), new Text("" + key.toString()));
                }
            }
            System.out.println("---------------------------CJTrianglerReducer END-----------------------------------------");
        }
        }

    public static void main(String[] args) throws Exception
    {
        args = new String[2];
        args[0] = "/media/chenjie/0009418200012FF3/ubuntu/trangel.txt";
        args[1] = "/media/chenjie/0009418200012FF3/ubuntu/trangel1";;
        int jobStatus = submitJob(args);
        System.exit(jobStatus);
    }
    
    public static int submitJob(String[] args) throws Exception {
        int jobStatus = ToolRunner.run(new CJTriangle_Step1(), args);
        return jobStatus;
    }

    @SuppressWarnings("deprecation")
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf();
        Job job = new Job(conf);
        job.setJobName("trangel1");

        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        job.setOutputKeyClass(Text.class);       
        job.setOutputValueClass(Text.class);      
       
        
        job.setMapperClass(CJTriangleMapper.class);
        job.setReducerClass(CJTrianglerReducer.class);
        
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        
        FileSystem fs = FileSystem.get(conf);
        Path outPath = new Path(args[1]);
        if(fs.exists(outPath))
        {
            fs.delete(outPath, true);
        }
        
        boolean status = job.waitForCompletion(true);
        return status ? 0 : 1;
    }
    
    
}



package cjtriangle;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Iterator;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import edu.umd.cloud9.io.pair.PairOfLongs;

public class CJTriangle_Step2 extends Configured implements Tool  {
    
    public static class CJTriangleMapper extends Mapper<LongWritable, Text, PairOfLongs, LongWritable>
    {
        @Override
        protected void map(
                LongWritable key,
                Text value,
                Context context)
                throws IOException, InterruptedException {
               String tokens[] = value.toString().split("\t");
               if(tokens == null || tokens.length < 2)
                   return;
               context.write(new PairOfLongs(Long.valueOf(tokens[0].split(",")[0]),Long.valueOf(tokens[0].split(",")[1])), new LongWritable(Long.valueOf(tokens[1])));
           }
        }
    
    public static class CJTrianglerReducer extends Reducer<PairOfLongs, LongWritable, NullWritable, Text>
    {
        @Override
        protected void reduce(
                PairOfLongs key,
                Iterable<LongWritable> values,
                Context context)
                throws IOException, InterruptedException {
            System.out.println("---------------------------------CJTrianglerReducer----------------------------------");
            System.out.println("key:" + key);
            List<Long> list = new ArrayList<Long>();
            Iterator<LongWritable> iterator = values.iterator();
            while(iterator.hasNext())
            {
                LongWritable value = iterator.next();
               list.add(value.get());
            }
            boolean flag = false;
             for(int i = 0; i < list.size(); i ++)
            {
                System.out.println("value:" + list.get(i));
                if(list.get(i) == -1)
                {
                    flag = true;
                }
            }
             if(flag)
             {
                 for(Long value : list)
                 {
                     if(value != -1)
                     {
                         String tri = buildTriangle(key.getLeftElement(),key.getRightElement(),value);
                         System.out.println("生成三角形:" + tri);
                         context.write(NullWritable.get(), new Text(tri));
                     }
                 }
             }
            System.out.println("---------------------------CJTrianglerReducer END-----------------------------------------");
        }

        private String buildTriangle(long e1, long e2,
                Long e3) {
            List<Long> list = new ArrayList<Long>();
            list.add(e1);
            list.add(e2);
            list.add(e3);
            Collections.sort(list);
            return list.get(0) + "," + list.get(1) + "," + list.get(2);
        }
    }

    public static void main(String[] args) throws Exception
    {
        args = new String[2];
        args[0] = "/media/chenjie/0009418200012FF3/ubuntu/trangel1/part-r-00000";
        args[1] = "/media/chenjie/0009418200012FF3/ubuntu/trangel2";;
        int jobStatus = submitJob(args);
        System.exit(jobStatus);
    }
    
    public static int submitJob(String[] args) throws Exception {
        int jobStatus = ToolRunner.run(new CJTriangle_Step2(), args);
        return jobStatus;
    }

    @SuppressWarnings("deprecation")
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf();
        Job job = new Job(conf);
        job.setJobName("trangel1");

        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        
        job.setMapOutputKeyClass(PairOfLongs.class);
        job.setMapOutputValueClass(LongWritable.class);
        job.setOutputKeyClass(Text.class);       
        job.setOutputValueClass(Text.class);      
       
        
        job.setMapperClass(CJTriangleMapper.class);
        job.setReducerClass(CJTrianglerReducer.class);
        
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        
        FileSystem fs = FileSystem.get(conf);
        Path outPath = new Path(args[1]);
        if(fs.exists(outPath))
        {
            fs.delete(outPath, true);
        }
        
        boolean status = job.waitForCompletion(true);
        return status ? 0 : 1;
    }
    
    
}


package cjtriangle;

import java.io.IOException;
import java.util.Iterator;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class CJTriangle_Step3 extends Configured implements Tool  {
    
    public static class CJTriangleMapper extends Mapper<LongWritable, Text, Text, LongWritable>
    {
        @Override
        protected void map(
                LongWritable key,
                Text value,
                Context context)
                throws IOException, InterruptedException {
               context.write(new Text(value.toString()), new LongWritable(1));
           }
        }
    
    public static class CJTrianglerReducer extends Reducer<Text, LongWritable, NullWritable, Text>
    {
        @Override
        protected void reduce(
                Text key,
                Iterable<LongWritable> values,
                Context context)
                throws IOException, InterruptedException {
            System.out.println("---------------------------------CJTrianglerReducer----------------------------------");
            System.out.println("key:" + key);
            Iterator<LongWritable> iterator = values.iterator();
            while(iterator.hasNext())
            {
                LongWritable value = iterator.next();
                System.out.println("value:" + value.toString());
            }
            context.write(NullWritable.get(), new Text(key.toString()));
            System.out.println("---------------------------CJTrianglerReducer END-----------------------------------------");
        }
    }

    public static void main(String[] args) throws Exception
    {
        args = new String[2];
        args[0] = "/media/chenjie/0009418200012FF3/ubuntu/trangel2/part-r-00000";
        args[1] = "/media/chenjie/0009418200012FF3/ubuntu/trangel3";;
        int jobStatus = submitJob(args);
        System.exit(jobStatus);
    }
    
    public static int submitJob(String[] args) throws Exception {
        int jobStatus = ToolRunner.run(new CJTriangle_Step3(), args);
        return jobStatus;
    }

    @SuppressWarnings("deprecation")
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf();
        Job job = new Job(conf);
        job.setJobName("trangel1");

        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);
        job.setOutputKeyClass(Text.class);       
        job.setOutputValueClass(Text.class);      
       
        
        job.setMapperClass(CJTriangleMapper.class);
        job.setReducerClass(CJTrianglerReducer.class);
        
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        
        FileSystem fs = FileSystem.get(conf);
        Path outPath = new Path(args[1]);
        if(fs.exists(outPath))
        {
            fs.delete(outPath, true);
        }
        
        boolean status = job.waitForCompletion(true);
        return status ? 0 : 1;
    }
    
    
}





土豆拍死马铃薯
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于hadoop的社交网络三角形计数
无名山丘，崛起成峰
02-23 4755
图的三角形计数问题是一个基本的图计算问题，是很多复杂网络分析（比如社交网络分析） 的基础。目前图的三角形计数问题已经成为了 Spark 系统中 GraphX 图计算库所提供的一个算法级 API。本次实验任务就是要在 Hadoop 系统上实现 Twitter 社交网络图的三角形计数任务。
集群下MapReduce与SparkGraphx的三角形计数
baidu_37836797的博客
10-22 547
一、CentOs7虚拟机基础配置 1. 静态ip配置 网络连接模式在虚拟机的网络适配器中选择NAT，查看vmware-->编辑-->虚拟网络编辑器中的V8-->DHCP中的分配网段： 如： 确定三台机器分配静态Ip为：192.168.234.132、192.168.234.133、192.168.234.134。 在root用户下编辑/etc/sysconfig/net...
社交网络图挖掘4--三角形计数问题
liveway6的博客
10-25 4033
计算一个随机图中的三角形数目期望值由n个节点和m条边随机构成的图的中： 图中总共有(n3)=n3/6\bigl( \begin{smallmatrix} n \\ 3 \end{smallmatrix} \bigr)=n^3/6个三节点集合； 在任意给定的两个节点之间加入边的概率为m/(n2)=2m/n2m/{\bigl( \begin{smallmatrix} n \\ 2 \end{smallm
Hadoop 分析图中节点的重要性,求解图中节点三角形个数
thao6626的专栏
06-26 2050
Hadoop 求解无向图中节点的重要性,通过求解节点的三角形个数来展现: 求解图中节点重要性,并排序,在大数据,分布式处理大型图组织形式的数据时很重要,找出重要节点,并对重要节点做特殊处理是很重要的
MapReduce/Hadoop的左外连接解决方案
陈杰
11-08 1148
要解决的问题： 假设有两类数据：用户和交易。用户数据包括用户的地址信息，交易数据包括用户身份信息，但是不包括应乎地址的直接信息。给定users和transactions如下： users(user_id,location_id) transactions(transaction_id,product_id,user_id,quantity,amount) 我们的目标是得出每个商品对应的唯一
基于mapreduce实现图的三角形计数
编程匠心者
11-23 1977
源代码放在我的github上，想细致了解的可以访问：TriangleCount on github 一、实验要求 1.1 实验背景 &amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;&amp;amp;amp;nbsp;图的三角形计数问题是一
mapreduce在hadoop实现词统计和列式统计
02-28
在这个场景中，我们将讨论如何使用Hadoop的MapReduce来实现词统计和列式统计。 **一、MapReduce原理** MapReduce的工作流程主要包括三个主要阶段：Map、Shuffle（排序）和Reduce。在Map阶段，输入数据被分割成多个...
大数据 hadoop mapreduce 词频统计
10-23
在这个过程中，Hadoop MapReduce通过并行化处理和容错机制，能够高效地处理大规模数据，即使在硬件故障的情况下也能确保数据完整性。同时，MapReduce的编程模型相对简单，使得开发者能够专注于业务逻辑，而不是底层...
Hadoop学习笔记
01-20
例如，`bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'` 是一个查找字符串的MapReduce作业。 3. **YARN上运行MapReduce**：同样使用`bin/hadoop jar`...
Java/Web调用Hadoop进行MapReduce示例代码
08-28
本文展示了如何使用Hadoop的JavaAPI来上传和处理文件，包括如何将用户上传的文件使用Hadoop的JavaAPI put到Hadoop的文件系统中，并使用Hadoop的JavaAPI从文件系统中取得结果文件。 知识点五：用户控制器 本文提供...
Hadoop中MapReduce框架入门
03-01
百度百科:MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地...
MapReduce之统计和列出大图中的三角形（一）
zhangdy12307的博客
12-29 444
MapReduce之统计和列出大图中的所有三角形 什么是三角形 图作为一个数据结构，包括一个有限的节点集，称为顶点。包括一个有限的线集，称为边，边会连接其中一些或全部节点。令T=(a,b,c)T=(a,b,c)T=(a,b,c)是图G中三个不同节点构成的一个集合，如果其中两个节点相连(a,b),(a,c)(a,b),(a,c)(a,b),(a,c),TTT就是一个三联体，如果所有三个节点都相连(a...
使用mapred寻找图中的三角形
竹叶青 的专栏
03-21 1600
本题是来自于：http://caibinbupt.iteye.com/blog/354316 题目是这样的： 有向图，输入是所有的边，如下图的输入是，，，，，，和，输出是图中所有这样三角形>，它的边是，和。下面的图输出是>，>。用MapReduce做，不要用传统方法啦（比方说把边倒到数据库里，用SQL语句找）。  下面给出对
mapreduce实现搜索引擎简单的倒排索引
weixin_30687811的博客
03-19 192
使用hadoop版本为2.2.0 倒排索引简单的可以理解为全文检索某个词 例如：在a.txt 和b.txt两篇文章分别中查找统计hello这个单词出现的次数，出现次数越多，和关键词的吻合度就越高 现有a.txt内容如下： hello tom hello jerry hello kitty hello world hello tom b.txt内容如下： hello je...
用MapReduce做相似度分析
热门推荐
yfk的专栏
12-23 1万+
Q： 有一批数据（10亿量级），数据内容包括： 列 类型 id INT content String id为key，全局唯一 content为一个句子 列之间以\t分割 like： 1  “互联网够公司的日志无处不在，web日志，js日志，搜索日志，监控日志等等” 2  "对于这些日志的离线分析（Hadoop），wget&r
利用MapReduce来实现文档全局搜索引擎
BigData_Future的博客
08-15 1773
                          利用MapReduce来实现全局搜索引擎   根据内容来查看文档,可以统计每个单词在一些文档中出现了几次,来实现全文检索的这样的一个功能   预备文件:   hadoop中分三步走:   1.mapper对文档初步处理, 获得每个单词以及单词的路径,设置每个单词出现的次数都初步设置为1;     输出格式 : 单词||文...
基于Hadoop批量图像特征提取和检索查询的思考
Mr.Lei
02-16 1121
如何在Hadoop平台上实现图像的批量处理，例如海量图像特征提取并行化，批量图像检索以及图像查询。
Hadoop之仿写搜索引擎
young_so_nice的博客
05-11 7892
这篇文章，可能比较长，如果你觉得写得好可以把它看完，希望对你有所帮助。 写搜索引擎先整理下思路大致分为三步： 从网上爬取数据，对拿到的数据进行整理即分词，然后通过关键字匹配拿到数据。我会详细介绍这三步。 先讲讲我要实现的效果，从网上拿到标题包括对应的地址，对标题进行分词，通过输入的关键字匹配分词，返回对应的网址。一，爬取数据： 开始的时候对网站进行的一个垂直爬取，拿到它的个标题，A标
cd /root/hadoop/share/hadoop/mapreduce -bash: cd: /root/hadoop/share/hadoop/mapreduce: 权限不够
最新发布
06-28
当你尝试使用`cd`命令切换到`/root/hadoop/share/hadoop/mapreduce`目录时，收到了权限不足的错误，这通常意味着当前用户没有对这个路径的读写执行权限。在Linux或Unix系统中，文件和目录的访问权限是由文件所有者、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值