MapReduce高级案例⑤

最新推荐文章于 2024-07-15 18:30:26 发布
最新推荐文章于 2024-07-15 18:30:26 发布
阅读量68 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33887096/article/details/114533043
版权

Hadoop MapReduce 共同好友 数据处理 用户关系
关键词由CSDN通过智能技术生成

共同好友计算

以下是好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友(数据中的好友关系是单向的)

数据
A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J

第一次处理

输出
A	F,D,O,I,H,B,K,G,C,
B	E,A,J,F,
C	K,A,B,E,F,G,H,
D	G,K,C,A,E,L,F,H,
E	G,F,M,B,H,A,L,D,
F	M,D,L,A,C,G,
G	M,
H	O,
I	C,O,
J	O,
K	B,
L	E,D,
M	F,E,
O	J,I,H,A,F,
ruaDriver01
package com.kami.demo05;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * @version v 1.0
 * @Author kamisamak
 * @Date 2020/6/16
 */
public class ruaDriver01 {
    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();
        Job job = Job.getInstance(configuration);
        job.setJarByClass(ruaDriver01.class);
        job.setMapperClass(ruaMapper01.class);
        job.setReducerClass(ruaReducer01.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        FileInputFormat.setInputPaths(job, new Path("data\\d05\\rua.txt"));
        FileOutputFormat.setOutputPath(job, new Path("output\\d11"));
        boolean result = job.waitForCompletion(true);
        System.exit(result ? 0 : 1);
    }
}
ruaMapper01
package com.kami.demo05;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @version v 1.0
 * @Author kamisamak
 * @Date 2020/6/16
 */
    public class ruaMapper01 extends Mapper
        
        
         
          {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        String[] fileds = line.split(":");
        //获取person和好友
        String person = fileds[0];
        String[] friends = fileds[1].split(",");
        for (String friend : friends) {
            // 输出 
            context.write(new Text(friend), new Text(person));
        }
    }
}
ruaReducer01
package com.kami.demo05;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * @version v 1.0
 * @Author kamisamak
 * @Date 2020/6/16
 */
public class ruaReducer01 extends Reducer
        
        
         
          {
    @Override
    protected void reduce(Text key, Iterable
         
         
          
           values, Context context) throws IOException, InterruptedException {
        StringBuffer sb = new StringBuffer();
        for (Text value : values) {
            sb.append(value).append(",");
        }
        context.write(key,new Text(sb.toString()));
    }
}

第二次处理

输出
A-B	C E 
A-C	D F 
A-D	F E 
A-E	C B D 
A-F	D O E B C 
A-G	C D F E 
A-H	E C O D 
A-I	O 
A-J	O B 
A-K	C D 
A-L	E D F 
A-M	F E 
B-C	A 
B-D	E A 
B-E	C 
B-F	E A C 
B-G	A E C 
B-H	E C A 
B-I	A 
B-K	A C 
B-L	E 
B-M	E 
B-O	A 
C-D	F A 
C-E	D 
C-F	A D 
C-G	F D A 
C-H	D A 
C-I	A 
C-K	A D 
C-L	D F 
C-M	F 
C-O	I A 
D-E	L 
D-F	A E 
D-G	F A E 
D-H	A E 
D-I	A 
D-K	A 
D-L	F E 
D-M	F E 
D-O	A 
E-F	M C B D 
E-G	C D 
E-H	C D 
E-J	B 
E-K	C D 
E-L	D 
F-G	A D E C 
F-H	D O C E A 
F-I	O A 
F-J	B O 
F-K	A D C 
F-L	D E 
F-M	E 
F-O	A 
G-H	E A C D 
G-I	A 
G-K	C D A 
G-L	D E F 
G-M	E F 
G-O	A 
H-I	O A 
H-J	O 
H-K	D A C 
H-L	E D 
H-M	E 
H-O	A 
I-J	O 
I-K	A 
I-O	A 
K-L	D 
K-O	A 
L-M	F E
ruaDriver02
package com.kami.demo05;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * @version v 1.0
 * @Author kamisamak
 * @Date 2020/6/16
 */
public class ruaDriver02 {
    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();
        Job job = Job.getInstance(configuration);
        job.setJarByClass(ruaDriver02.class);
        job.setMapperClass(ruaMapper02.class);
        job.setReducerClass(ruaReducer02.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        FileInputFormat.setInputPaths(job, new Path("output\\d11"));
        FileOutputFormat.setOutputPath(job, new Path("output\\d12"));
        boolean result = job.waitForCompletion(true);
        System.exit(result ? 0 : 1);
    }
}
ruaMapper02
package com.kami.demo05;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
import java.util.Arrays;

/**
 * @version v 1.0
 * @Author kamisamak
 * @Date 2020/6/16
 */
public class ruaMapper02  extends Mapper
        
        
         
          {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        String[] fps = line.split("\t");

        String friend = fps[0];
        String[] persons = fps[1].split(",");
        Arrays.sort(persons);

        for (int i = 0; i < persons.length - 1; i++) {
            for (int j = i + 1; j < persons.length; j++) {
                //人-人，好友
                context.write(new Text(persons[i] + "-" + persons[j]), new Text(friend));
            }
        }
    }
}
ruaReducer02
package com.kami.demo05;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * @version v 1.0
 * @Author kamisamak
 * @Date 2020/6/16
 */
public class ruaReducer02 extends Reducer
        
        
         
          {
    @Override
    protected void reduce(Text key, Iterable
         
         
          
           values, Context context) throws IOException, InterruptedException {
        StringBuffer sb = new StringBuffer();
        for (Text friend : values) {
            sb.append(friend).append(" ");
        }
        context.write(key, new Text(sb.toString()));
    }
}

题目来源:https://www.cnblogs.com/frankdeng/p/9255931.html

kamisamak
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MapReduce之流量汇总案例(1)
2401_84413631的博客
04-19 997
注意需要实现序列化，此处我们实现Writable接口，重写相关的方法/**存储流量相关数据@author 波波烤鸭*/// 上下流量// 下行流量// 总流量super();/**无参构造方法必须要有 反射的时候需要用到*/super();/**序列化方法*/@Override@Override/**反序列化 反序列化的顺序和序列化的顺序一致*/@Override注意输出的value就是我们自定义的类型。
MapReduce入门案例.rar
12-16
在这个“MapReduce入门案例.rar”压缩包中，包含了五个基础的MapReduce编程示例，帮助初学者理解并掌握MapReduce的工作原理和用法。 1. 统计单词的个数： 这是最经典的MapReduce案例，通常被称为WordCount。在Map...
文件夹中是微信的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的），参照笔记，求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？
weixin_46119343的博客
12-22 783
题目 文件夹中的文件是微信的好友列表数据，冒号前是一个用，冒号后是该用户的所有好友（数据中的好友关系是单向的），参照笔记，求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 本题声明： 1.采用Linux系统 2.已搭建好的hadoop集群 3.使用java编写MapReduce程序 题目分析： 1.编写MapReduce程序 2.hadoop调用MapReduce程序的数据源要上传至集群当中 项目流程： 我将该项目分成了两步来做 (1) 通过数据源文件，首先求出每个手机号的总上行流量、下行流量、总流量
疯狂Hadoop之MapReduce入门（五）_简要描述mapreduce框架计算模型,并对其核心阶段进行简要介绍。(1)
2401_84300128的博客
04-29 407
对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，降低了开发并行应用的入门门槛。对相互间不具有计算依赖的大数据，实现并行最自然的办法就是采取分而治之的策略。并行计算的第一个重要问题是如何划分计算任务或者计算数据以便对划分的子任务或数据块同时进行计算。不可拆分的计算任务或相互间有依赖关系的数据无法进行并行计算MapReduce借鉴了函数式语言中的思想，用Map和Reduce两个函数提供了高 层的并行编程抽象模型。
第23章　案例研究
测试
12-18 484
全球有很多公司和组织使用Hive。本章提供的案例将详细介绍有趣的和独特的使用场景和我们面临过的问题，以及如何使用Hive这个独特的PB级别数据数据仓库来解决这些问题。23.1　m6d.com(Media6Degrees)23.1.1　M 6D的数据科学，使用Hive和R——Ori Stitelman在本案例研究中，我们考察了m6d的数据科学团队使用Hive对综合的海量数据提取信息的众多方法中的...
MapReduce综合案例（4个）
06-16
在这个案例中，MapReduce被用于分析社交网络用户的行为和互动，以便计算每个用户的影响力分数。Map阶段，数据会被拆分成用户之间的交互事件，如点赞、评论、分享等。然后，这些事件被转化为键值对，键可能是用户ID...
mapreduce案例数据
11-23
在这个案例中，我们关注的是与MapReduce相关的数据文件，包括`dept.csv`, `emp.csv`, 和 `sales.csv`。这些CSV（逗号分隔值）文件通常包含结构化的表格数据，非常适合用MapReduce进行分析和处理。 首先，`dept.csv`...
MapReduce综合应用案例 - 招聘数据清洗-结果
04-02
MapReduce综合应用案例 - 招聘数据清洗-结果
mapreduce综合应用案例
06-16
以下是一些MapReduce的综合应用案例，包括详细数据和实现方法： 1. 词频统计 案例描述：统计一个或多个文本文件中单词的出现频率。 Map阶段：读取文本文件，将每个单词作为键（key），出现次数作为值（value，初始...
MapReduce底层原理详解：大案例解析（第32天）
syhiiu的博客
07-11 1346
MapReduce（简称MR）是Hadoop框架中的一个核心组件，它主要用于大规模数据集的并行处理。MapReduce的底层原理涉及数据的分片、Map阶段的处理、Shuffle过程以及Reduce阶段的处理等多个环节。本文通过案例解析方式对MR底层原理进行详细解析
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
jiang0615csdn的博客
07-11 260
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
Python机器学习、深度学习技术提升气象、海洋、水文领域实践技术
最新发布
weixin_58566962的博客
07-15 225
Python是功能强大、免费、开源，实现面向对象的编程语言，能够在不同操作系统和平台使用，简洁的语法和解释性语言使其成为理想的脚本语言。除了标准库，还有丰富的第三方库，Python在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能。上述优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。人工智能和大数据技术在许多行业都取得了颠覆式的成果，气象和海洋领域拥有海量的模式和观测数据，是大数据和人工智能应用的天然场景。
第二届大数据、计算智能与应用国际会议（BDCIA2024）
爱思德学术
07-15 113
EI会议论文集：本届会议的论文均会安排严格的同行评审，接收论文将集结出版，出版后送交EI Compendex, Scopus等数据库收录。大会邀请到来自美国、英国、加拿大、新加坡、意大利、越南等10余位领域内学术大咖作主题报告，并与参会人员互动交流。知网收录期刊：投稿后3-5天即可返回审稿结果，录用率高，一般2周左右见刊。EI期刊：正刊版面，JA检索类型，3-6个月发表。SCI期刊：欧洲国家出版，IF=5+，二区期刊。会议日期：2024年11月15-17日。会议地点：中国-湖北省-黄冈市。
zookeeper+kafka消息队列群集部署
weixin_73083053的博客
07-15 472
log.dirs=/etc/kafka/kafka-logs #60行。如果启动不了，可以将/etc/kafka/kafka-logs中的数据清除再试试。注意：启动时先启动zookeeper，关闭时先关闭kafka。2888：集群内机器通讯使用（Leader监听此端口）##21行 修改，注意其他两个的id分别是2和3。#31行 修改，其他节点改成各自的IP地址。##123行，填写集群中各节点的地址和端口。注释：zookeeper只用的端口。收集kafka的消息，并发送到ES。
链路追踪系列-01.mac m1 安装zipkin
suanhengzi的博客
07-13 1043
可能需要先删除 /Users/jelex/dockerV/es/plugins 目录下的.DS_Store。下载地址：https://hub.docker.com/r/openzipkin/zipkin。————————————————zipkin启动参数附录———————访问http://localhost:9411/zipkin/
工业大数据是什么？应用工业大数据时面临哪些挑战？
Leo的博客
07-12 922
随着工业大数据的深入应用，我们见证了它在推动工业转型升级中的巨大潜力。然而，这一过程中所面临的挑战也不容忽视，包括数据资源的稀缺、数据治理的滞后以及数据孤岛的问题。为了克服这些难题，需要企业、行业乃至整个社会的共同努力和智慧。
泰迪智能科技江西大数据实验室成功案例介绍说明
tipdm0526的博客
07-15 290
高校大数据实验室作为作为支撑高校人培方案实施的核心设施，实验室的建设一定要与学科建设、人才培养充分融合，是一个包含物理空间+硬件资源+软件资源+课程内容的系统化工程。
Zookeeper
Casual_Lei的博客
07-13 914
Zookeeper是一个分布式协调服务，用于管理和协调分布式应用程序的组件。它提供了集中式的服务，用于维护配置信息、命名、分布式同步和组服务。Zookeeper可以帮助开发人员简化分布式应用的设计和实现。
大数据mapreduce经典案例
09-14
下面是一些经典的大数据MapReduce案例： 1. Word Count：这是最经典的MapReduce案例之一。它用于统计输入文本中每个单词出现的次数。在Map阶段，将文本分割成单词并为每个单词赋予一个初始计数值。在Reduce阶段，将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值