Hadoop-MRjob串联之共同好友

最新推荐文章于 2021-09-25 17:10:17 发布
最新推荐文章于 2021-09-25 17:10:17 发布
阅读量168 收藏 1
点赞数
分类专栏： 大数据学习-Hadoop-案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40249304/article/details/93321461
版权

MRjob串联之共同好友

数据

描述：A的好友有B,C,D,F,R

A:B,C,D,F,R
B:B,D,R
C:A,G,U,X,D,F,R
D:B,F,D,G,R
E:A,D,F,R
F:B,C,D,T,Y,F,R
G:A,C,Z,K,R
H:B,C,F,G,L,R
I:B,L,D,R,E
J:B,D,G,F,R
K:S,B,C,A

要求：找出A，B的共同好友，找出A，C的共同好友…（所有人两两间的共同好友）

逻辑分析

对A，B的共同好友进行举例
对A，B的共同好友进行举例

Map1->FriendMap1.java
package day4_jobs_input.jobs.friends;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * friendmap1
 * @author Fantome
 * @date 2019/5/28
 */
public class FriendMap1 extends Mapper<LongWritable, Text,Text,Text> {
    Text k=new Text();
    Text v=new Text();

    /**
     * 将本人于好友分开，并反转本人和好友k，v位置，转化成好友->本人的形式
     * @param key
     * @param value
     * @param context
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void map(LongWritable key,
                       Text value,
                       Context context) throws IOException, InterruptedException {
        String line = value.toString();
        //splits[0]->本人，splits[1]->好友（多个）
        String[] splits = line.split(":");
        String person = splits[0];
        v.set(person);
        // 将splits[1]按分开
        String[] friends = splits[1].split(",");
        for (String friend:friends){
            // 反转k和v，输出到reduce端 k：好友（单个），v：本人
            k.set(friend);
            context.write(k,v);
        }
    }
}
Reduce1->FriendReduce1.java
package day4_jobs_input.jobs.friends;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * friendreduce1
 * @author Fantome
 * @date 2019/5/28
 */
public class FriendReduce1 extends Reducer<Text,Text,Text,Text> {
    Text v=new Text();

    /**
     * //聚合    k:好友，v:本人(多个)
     * @param key k:好友
     * @param values v:本人
     * @param context
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void reduce(Text key,
                          Iterable<Text> values,
                          Context context) throws IOException, InterruptedException {
        StringBuffer persons = new StringBuffer();
        //聚合    k:好友，v:本人(多个)
        for (Text person:values){
            persons.append(person).append(",");
        }
        v.set(persons.toString());
        context.write(key,v);
    }
}
Map2->FriendMap2.java
package day4_jobs_input.jobs.friends;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
import java.util.Arrays;

/**
 * friendmap2
 * @author Fantome
 * @date 2019/5/28
 */
public class FriendMap2 extends Mapper<LongWritable, Text, Text, Text> {
    Text TwoMan=new Text();
    Text v=new Text();

    /**
     * 再次反转对本人1-本人2... 进行聚合,k:本人1-本人2(两个人) v:共同好友
     * @param key
     * @param value 好友1 \t 本人1,本人2,本人3
     * @param context
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void map(LongWritable key,
                       Text value,
                       Context context) throws IOException, InterruptedException {
        //输入的数据 好友1 \t 本人1,本人2,本人3
        //即 本人1和本人2 有个 共同好友1，本人1和本人3 有个 共同好友1 ......
        String[] splits = value.toString().split("\t");
        String[] persons = splits[1].split(",");
        //将本人的集合进行排序
        Arrays.sort(persons);
        int num=persons.length;
        v.set(splits[0]);
        //输出：本人1-本人2    好友1，本人1-本人3    好友1 ......
        for (int i=0;i<num;i++){
            for (int j=i+1;j<num;j++){
                TwoMan.set(persons[i]+"-"+persons[j]);
                context.write(TwoMan,v);
            }
        }
    }
}
Reduce2->FriendReduce2.java
package day4_jobs_input.jobs.friends;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * friendmap2
 * @author Fantome
 * @date 2019/5/28
 */
public class FriendReduce2 extends Reducer<Text, Text, Text, Text> {
    Text v=new Text();
    @Override
    protected void reduce(Text key,
                          Iterable<Text> values,
                          Context context) throws IOException, InterruptedException {
        //聚合输出： k:本人1-本人2    v:共同好友1，共同好友2
        StringBuffer persons = new StringBuffer();
        for (Text value:values){
            persons.append(value.toString()).append(",");
        }
        v.set(persons.toString());
        context.write(key,v);
    }
}
Drive->FriendDriveAll.java
package day4_jobs_input.jobs.friends;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob;
import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.log4j.BasicConfigurator;

/**
 * friendDrive1
 * @author Fantome
 * @date 2019/5/28
 */
public class FriendDriveAll {
    public static void main(String[] args) throws Exception {
        args=new String[]{"E:\\桌面\\大数据\\test\\friends\\friends.txt",
                "E:\\桌面\\大数据\\test\\friends\\friendOut1",
                "E:\\桌面\\大数据\\test\\friends\\friendOut2"};
        Configuration conf = new Configuration();
        //实例化job1
        Job job1 = Job.getInstance(conf);
        job1.setJarByClass(FriendDrive1.class);
        job1.setMapperClass(FriendMap1.class);
        job1.setReducerClass(FriendReduce1.class);

        job1.setMapOutputKeyClass(Text.class);
        job1.setMapOutputValueClass(Text.class);
        job1.setOutputKeyClass(Text.class);
        job1.setOutputValueClass(Text.class);
        FileInputFormat.setInputPaths(job1,new Path(args[0]));
        FileOutputFormat.setOutputPath(job1,new Path(args[1]));
        //实例化job2，job1的结果是job2的输入
        Job job2 = Job.getInstance(conf);
        job2.setJarByClass(FriendDrive2.class);
        job2.setMapperClass(FriendMap2.class);
        job2.setReducerClass(FriendReduce2.class);

        job2.setMapOutputKeyClass(Text.class);
        job2.setMapOutputValueClass(Text.class);
        job2.setOutputKeyClass(Text.class);
        job2.setOutputValueClass(Text.class);

        FileInputFormat.setInputPaths(job2,new Path(args[1]));
        FileOutputFormat.setOutputPath(job2,new Path(args[2]));

        //job1和job2串联
        JobControl control = new JobControl("friends");
        ControlledJob ajob = new ControlledJob(job1.getConfiguration());
        ControlledJob bjob = new ControlledJob(job2.getConfiguration());
        //定义job1必定要在job2执行完成后开始
        bjob.addDependingJob(ajob);
        control.addJob(ajob);
        control.addJob(bjob);
        Thread thread = new Thread(control);
        thread.start();
        if (!control.allFinished()){
            Thread.sleep(1000);
        }else {
            System.exit(0);
        }

    }
}

job1结果

A	K,G,C,E,
B	A,K,J,I,H,F,D,B,
C	H,K,A,F,G,
D	I,F,A,E,D,C,B,J,
E	I,
F	J,C,H,F,E,A,D,
G	D,C,J,H,
K	G,
L	I,H,
R	F,J,I,E,D,C,A,B,G,H,
S	K,
T	F,
U	C,
X	C,
Y	F,
Z	G,

job2结果

A-B	R,D,B,
A-C	R,D,F,
A-D	D,R,B,F,
A-E	R,F,D,
A-F	R,B,F,D,C,
A-G	R,C,
A-H	F,C,B,R,
A-I	B,D,R,
A-J	F,B,D,R,
A-K	B,C,
B-C	R,D,
B-D	D,R,B,
B-E	R,D,
B-F	B,R,D,
B-G	R,
B-H	B,R,
B-I	D,R,B,
B-J	B,D,R,
B-K	B,
C-D	D,G,R,F,
C-E	A,R,F,D,
C-F	R,F,D,
C-G	R,A,
C-H	R,G,F,
C-I	D,R,
C-J	D,F,R,G,
C-K	A,
D-E	R,F,D,
D-F	F,D,R,B,
D-G	R,
D-H	F,B,G,R,
D-I	D,R,B,
D-J	B,G,F,D,R,
D-K	B,
E-F	D,F,R,
E-G	R,A,
E-H	F,R,
E-I	D,R,
E-J	F,D,R,
E-K	A,
F-G	C,R,
F-H	F,C,B,R,
F-I	R,B,D,
F-J	R,B,D,F,
F-K	B,C,
G-H	R,C,
G-I	R,
G-J	R,
G-K	A,C,
H-I	R,B,L,
H-J	F,G,R,B,
H-K	C,B,
I-J	R,B,D,
I-K	B,
J-K	B,
第41篇：实现企业级大型AIGC项目：大规模数据处理技术
Gemini的博客
07-21 43
分布式计算是指将计算任务分割成多个子任务，分配到多台计算机上并行处理，从而提高计算速度和效率。这种方法特别适合处理大规模数据，因为它能够充分利用多台计算机的计算能力和存储资源。Hadoop是一个开源的分布式计算框架，由Apache软件基金会开发。它主要包括两个核心组件：HDFS（Hadoop Distributed File System）和MapReduce。HDFS用于分布式存储数据，而MapReduce用于分布式计算。
MR | Mapreduce Job提交过程
qq_44249833的博客
05-06 367
以本地模式的WordCount为例。 public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { args = new String[] {"d:/input/wordcount/inputword.txt", "d:/output"};...
【Hadoop】47-多job串联
通往神秘的道路的专栏
09-07 632
一个稍复杂点的处理逻辑往往需要多个mapreduce程序串联处理，多job的串联可以借助mapreduce框架的JobControl实现。 ControlledJob cJob1 = new ControlledJob(job1.getConfiguration()); ControlledJob cJob2 = new ControlledJob(job2.getConfiguration(...
mrjob文档
whzhcahzxh的专栏
05-22 2412
mrjob的最简单sample是一个计数的程序
Hadoop 3.1.3 (MapReduce）
VanasWang的博客
04-20 1653
文章目录Hadoop（MapReduce）MapReduce概述MapReduce优缺点MapReduce核心思想MapReduce进程官方WordCount源码常用数据序列化类型MapReduce编程规范WordCount案例实操本地测试集群上测试在Mac上向集群提交任务Hadoop序列化序列化概述自定义bean对象实现序列化接口（Writable）序列化案例实操需求编写MapReduce程序M...
MapReduce 三个经典案例（倒排索引、TopN、找共同好友）
西门催学不吹雪
05-22 2886
文章目录1. 倒排索引案例1.1 需求1.2 需求分析1.3 代码实现1.3.1 第一次处理1.3.2 第二次处理2. TopN 案例2.1 需求2.2 代码实现3. 找共同好友案例3.1 需求3.2 需求分析3.3 代码实现3.3.1 第一次处理3.3.2 第二次处理 1. 倒排索引案例 1.1 需求   有大量的文本（文档、网页），需要建立搜索索引。 输入数据 ① a.txt atguigu pingping atguigu ss atguigu ss     ② b.txt atguigu
如何停止一个JOB
Daniel's Blog
12-22 3170
1、标识job为broken       select job from dba_jobs_running;        注意使用DBMS_JOB包来标识你的JOB为BROKEN。       SQL> EXEC DBMS_JOB.BROKEN(job#,TRUE);       注意：当执行完该命令你选择的这个JOB还是在运行着的。 2、 Kill 对应的Oracle Session
五万字，57道hadoop大厂高频面试题，每一字都细心打磨，强烈建议收藏！
雷恩Layne
09-25 1万+
文章目录1. 简述hadoop1与hadoop2 的架构异同2. 请介绍一下hadoop的HDFS3. Hadoop的运行模式有哪些4. Hadoop生态圈的组件并做简要描述5. 解释“hadoop”和“hadoop生态系统”两个概念6. 请介绍HDFS的组成架构7. HDFS的文件块大小有什么影响8. HDFS的写（上传）数据流程9. 机架感知（副本存储节点选择策略）10. HDFS的读数据流程11. NN 和 2NN 工作机制（元数据持久化机制）12. Fsimage 和 Edits中的内容13. Na
关于Mapreduce中多任务串联执行的认识
zhigang1007的博客
10-25 1699
最近加深了下Mapreduce的分布计算框架的理解，处理一些业务逻辑时，发现需要多个mapreduce程序才能完成。为了降低代码执行的繁琐度，将多个main文件合成一个，研究了下多任务的串联执行。下面就开始说说我的认识吧！ 业务逻辑是比较普遍的求共同好友的测试。一般而言，根据业务逻辑，需要编写两个mapreduce程序，分别放在两个java文件中，先后执行才能获取最终的结果。下面是我将两
大数据技术之高频面试题
XIAOMO__的博客
11-12 9142
第一章 项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .
Hadoop 停止Job
weixin_30652879的博客
10-11 179
1.查看所有正在运行的Job 　　Hadoop job -list 2.根据Id停止某一个Job 　　Hadoop job –kill <JobID> 转载于:https://www.cnblogs.com/booth/p/3363040.html
linux结束jobs的方法
热门推荐
Faith的博客
11-04 3万+
fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令 一、& 加在一个命令的最后，可以把这个命令放到后台执行，如 watch  -n 10 sh  test.sh  &  #每10s在后台执行一次test.sh脚本 二、ctrl + z 可以将一个正在前台执行的命令放到后台，并且处于暂停状态。 三、jobs 查看当前有多少在后台运行的命令
MRJob 极速入门，Python玩转Hadoop你会么？
实验楼
09-28 775
想要Hadoop乖巧地运行Python程序，学习mrjob可能是最直接、最简单的方法了，你甚至都不要按安装部署Hadoop集群。mrjob拥有很多优秀的特性比如：支持多步...
mrjob运行方式
小小鸟
08-25 1329
翻译自http://pythonhosted.org/mrjob/guides/runners.html运行本地测试python my_mrjob.py < test.txt >output 以上脚本会使用InlineMRJobRunner自动运行文件中的步骤。使用--runner=local可以更接近模拟Hadoop，这种方式不会将工作目录添加到PYTHONPATH，而是设置几个Hadoop环境
Hadoop Streaming 中的数据倾斜坑
Krse Lee的技术博客
08-27 1235
Hadoop Streaming 中的数据倾斜坑 1. 背景 最近用 hadoop streaming 跑一个数据集，不算大，每小时150G左右，但是每次耗时特别长，而且基本是卡在了reduce 98%的地方。 &nbsp; &nbsp;&nbsp; 看了下输出，基本上是数据集中到一两个reducer上了，因此每次吐出最后几个reducer耗时特别长。 &nbsp; &nbsp;&nbs...
vmware workstatiions pro 17.6.1个人使用免费，不用证书直接安装使用
11-18
虚拟机vmware workstatiions pro 17.6.1个人使用免费，不用证书直接安装使用
scipy-1.2.0-cp35-cp35m-linux_armv7l.whl
11-18
scipy-1.2.0-cp35-cp35m-linux_armv7l.whl
基于springboot爬虫高考志愿智能推荐系统源码数据库文档.zip
最新发布
11-18
基于springboot爬虫高考志愿智能推荐系统源码数据库文档.zip
bimdata_api_client-4.3.0-py3-none-any.whl
11-18
bimdata_api_client-4.3.0-py3-none-any.whl
成功搭建eclipse3.3+hadoop-0.20.0环境及hadoop-eclipse-plugin配置指南
"这篇文档详细记录了如何在eclipse3.3环境下成功搭建hadoop-0.20.0的开发环境，同时提到了在eclipse3.7及更高版本中，hadoop-0.21.0-eclipse-plugin插件存在兼容性问题。作者通过分享自己的经验，推荐使用eclipse3.3...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值