开源 mapreduce java_MapReduce应用

于 2021-02-25 18:52:52 发布
阅读量93 收藏
点赞数
文章标签： 开源 mapreduce java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42139357/article/details/114668568
版权

1、MapReduce实现矩阵相乘

一. 准备数据

#!/bin/bash

if [ $# -ne 3 ]

then

echo "there must be 3 arguments to generate the two matries file!"

exit 1

fi

cat /dev/null > M_$1_$2

cat /dev/null > N_$2_$3

for i in `seq 1 $1`

do

for j in `seq 1 $2`

do

s=$((RANDOM%100))

echo -e "$i,$j\t$s" >>M_$1_$2

done

done

echo "we have built the matrix file M"

for i in `seq 1 $2`

do

for j in ` seq 1 $3`

do

s=$((RANDOM%100))

echo -e "$i,$j\t$s" >>N_$2_$3

done

done

echo "we have built the matrix file N"

用一下脚本语言准备数组数据

M_3_2:

1,181

1,213

2,138

2,246

3,10

3,22

N_2_4:

1,199

1,238

1,334

1,419

2,121

2,24

2,336

2,464

二. 计算

public class Matrix {

private static class MatrixMapper extends

Mapper {

private static int colN = 0;

private static int rowM = 0;

@Override

protected void setup(

Mapper.Context context)

throws IOException, InterruptedException {

Configuration configuration = context.getConfiguration();

colN = configuration.getInt("colN", 0);

rowM = configuration.getInt("rowM", 0);

}

@Override

protected void map(LongWritable key, Text value,

Mapper.Context context)

throws IOException, InterruptedException {

FileSplit fileSplit = (FileSplit) context.getInputSplit();

String fileName = fileSplit.getPath().getName();

String[] strings = value.toString().split(",");

int i = Integer.parseInt(strings[0]);

String[] ser = strings[1].split("\t");

int j = Integer.parseInt(ser[0]);

int val = Integer.parseInt(ser[1]);

if (fileName.startsWith("M")) {

for (int count = 1; count <= colN; count++) {

context.write(new Text(i + "," + count), new Text("M," + j

+ "," + val + ""));

}

} else {

for (int count = 1; count <= rowM; count++) {

context.write(new Text(count + "," + j), new Text("N," + i

+ "," + val + ""));

}

}

}

}

private static class MatrixReduce extends

Reducer {

private static int rowM = 0;

@Override

protected void setup(

Reducer.Context context)

throws IOException, InterruptedException {

Configuration configuration = context.getConfiguration();

rowM = configuration.getInt("rowM", 0);

}

@Override

protected void reduce(Text key, Iterable values,

Reducer.Context context)

throws IOException, InterruptedException {

int sumValue = 0;

int[] m_Arr = new int[rowM + 1];

int[] n_Arr = new int[rowM + 1];

for (Text value : values) {

String string = value.toString();

String[] strings = string.split(",");

if (strings[0].equals("M")) {

m_Arr[Integer.parseInt(strings[1])] = Integer

.parseInt(strings[2]);

} else {

n_Arr[Integer.parseInt(strings[1])] = Integer

.parseInt(strings[2]);

}

}

for (int i = 1; i 

sumValue += m_Arr[i] * n_Arr[i];

}

context.write(key, new IntWritable(sumValue));

}

}

public static void main(String[] args) throws IllegalArgumentException,

IOException, ClassNotFoundException, InterruptedException {

Configuration configuration = HadoopConfig.getConfiguration();

configuration.setInt("colN", 4);

configuration.setInt("rowN", 2);

configuration.setInt("colM", 2);

configuration.setInt("rowM", 3);

Job job = Job.getInstance(configuration, "矩阵相乘");

job.setJarByClass(Sort.class);

job.setMapperClass(MatrixMapper.class);

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(Text.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(IntWritable.class);

job.setReducerClass(MatrixReduce.class);

FileInputFormat.addInputPath(job, new Path("/matrix"));

FileOutputFormat.setOutputPath(job, new Path("/matrixOutput"));

job.waitForCompletion(true);

System.exit(job.waitForCompletion(true) ? 0 : 1);

}

}

三. 结果

1,18292

1,23130

1,33222

1,42371

2,14728

2,21628

2,32948

2,43666

3,142

3,28

3,372

3,4128

2、MapReduce实现倒排索引

一、准备数据

file1:

one fish

two bird

two monkey

file2:

two peach

three watermelon

二、计算

public class InvertIndex {

private static class InvertIndexMapper extends

Mapper {

@Override

protected void map(LongWritable key, Text value,

Mapper.Context context)

throws IOException, InterruptedException {

FileSplit fileSplit = (FileSplit) context.getInputSplit();

String fileName = fileSplit.getPath().toString();

String[] words = value.toString().split(" ");

for (String string : words) {

context.write(new Text(string), new Text(fileName + "#" + key.toString()));

}

}

}

private static class InvertIndexReduce extends

Reducer {

@Override

protected void reduce(Text key, Iterable values,

Reducer.Context context)

throws IOException, InterruptedException {

StringBuilder stringBuilder = new StringBuilder();

for (Text text : values) {

stringBuilder.append(text.toString()).append(";");

}

context.write(key, new Text(stringBuilder.toString()));

}

}

public static void main(String[] args) throws IOException,

ClassNotFoundException, InterruptedException{

Configuration configuration = HadoopConfig.getConfiguration();

Job job = Job.getInstance(configuration, "倒排索引");

job.setJarByClass(InvertIndex.class);

job.setMapperClass(InvertIndexMapper.class);

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(Text.class);

job.setReducerClass(InvertIndexReduce.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(Text.class);

FileInputFormat.addInputPath(job, new Path("/data"));

FileOutputFormat.setOutputPath(job, new Path("/ouput"));

job.waitForCompletion(true);

System.exit(job.waitForCompletion(true) ? 0 : 1);

}

三、结果

birdhdfs://127.0.0.1:8020/data/file1#9;

fishhdfs://127.0.0.1:8020/data/file1#0;

monkeyhdfs://127.0.0.1:8020/data/file1#18;

onehdfs://127.0.0.1:8020/data/file1#0;

peachhdfs://127.0.0.1:8020/data/file2#0;

threehdfs://127.0.0.1:8020/data/file2#10;

twohdfs://127.0.0.1:8020/data/file2#0;hdfs://127.0.0.1:8020/data/file1#18;hdfs://127.0.0.1:8020/data/file1#9;

watermelonhdfs://127.0.0.1:8020/data/file2#10;

3、MapReduce实现复杂倒排索引

一、准备数据

file1:

one fish

two bird

two monkey

file2:

two peach

three watermelon

二、计算

public class ComplexInvertIndex {

private static class FileNameRecordReader extends RecordReader {

LineRecordReader lineRecordReader = new LineRecordReader();

String fileName;

@Override

public void initialize(InputSplit split, TaskAttemptContext context)

throws IOException, InterruptedException {

lineRecordReader.initialize(split, context);

fileName = ((FileSplit) split).getPath().getName();

}

@Override

public boolean nextKeyValue() throws IOException, InterruptedException {

return lineRecordReader.nextKeyValue();

}

@Override

public Text getCurrentKey() throws IOException, InterruptedException {

return new Text(fileName);

}

@Override

public Text getCurrentValue() throws IOException, InterruptedException {

return lineRecordReader.getCurrentValue();

}

@Override

public float getProgress() throws IOException, InterruptedException {

return lineRecordReader.getProgress();

}

@Override

public void close() throws IOException {

lineRecordReader.close();

}

}

private static class FileNameInputFormat extends

FileInputFormat {

@Override

public RecordReader createRecordReader(InputSplit split,

TaskAttemptContext context) throws IOException,

InterruptedException {

FileNameRecordReader fileNameRecordReader = new FileNameRecordReader();

fileNameRecordReader.initialize(split, context);

return fileNameRecordReader;

}

}

private static class ComplexInvertIndexMapper extends

Mapper {

@Override

protected void map(Text key, Text value,

Mapper.Context context)

throws IOException, InterruptedException {

String[] strs = value.toString().split(" ");

for (String string : strs) {

context.write(new Text( string+"#"+key.toString() ),new IntWritable(1));

}

}

}

private static class ComplexInvertIndexCombiner extends

Reducer {

@Override

protected void reduce(Text key, Iterable values,

Reducer.Context context)

throws IOException, InterruptedException {

int sum = 0;

for (IntWritable value : values) {

sum += value.get();

}

context.write(key,new IntWritable(sum));

System.out.println(key.toString() + sum +"");

}

}

//把key的前面字段聚合，排序

private static class InvertIndexPartitioner extends

HashPartitioner {

@Override

public int getPartition(Text key, IntWritable value, int numReduceTasks) {

String[] strs = key.toString().split("#");

return super.getPartition(new Text(strs[0]), value, numReduceTasks);

}

}

private static class ComplexInvertIndexReduce extends

Reducer {

static Map map = new HashMap();

@Override

protected void reduce(Text key, Iterable values,

Reducer.Context context)

throws IOException, InterruptedException {

String[] strings = key.toString().split("#");

String word = strings[0];

String doc = strings[1];

int sum = 0;

for(IntWritable value : values){

sum = sum + value.get();

}

if( map.get(word) == null ){

map.put(word," ("+doc+","+sum+") ");

}else{

map.put(word,map.get(word)+" ("+doc+","+sum+") ");

}

}

@Override

protected void cleanup(

Reducer.Context context)

throws IOException, InterruptedException {

for(String key:map.keySet()){

context.write(new Text(key), new Text(map.get(key)));

}

}

}

public static void main(String[] args)throws IOException,

ClassNotFoundException, InterruptedException{

Configuration configuration = HadoopConfig.getConfiguration();

Job job = Job.getInstance(configuration, "复杂倒排索引");

job.setJarByClass(ComplexInvertIndex.class);

job.setInputFormatClass(FileNameInputFormat.class);

job.setMapperClass(ComplexInvertIndexMapper.class);

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(IntWritable.class);

job.setCombinerClass(ComplexInvertIndexCombiner.class);

job.setReducerClass(ComplexInvertIndexReduce.class);

job.setPartitionerClass(InvertIndexPartitioner.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(Text.class);

FileInputFormat.addInputPath(job, new Path("/data"));

FileOutputFormat.setOutputPath(job, new Path("/ouputdata"));

job.waitForCompletion(true);

System.exit(job.waitForCompletion(true) ? 0 : 1);

}

三、结果查看

monkey (file1,1)

bird (file1,1)

fish (file1,1)

one (file1,1)

peach (file2,1)

watermelon (file2,1)

three (file2,1)

two (file1,2)  (file2,1)

Luna Knight
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MapReduce应用开发(一) Configuration类和环境相关配置
ThisIsNobody的博客
06-24 2169
Configuraion类-用于配置的API资源合并变量扩展配置开发环境用MRUnit写单元测试关于Mapper关于Reducer本地运行测试数据本地运行器上运行测试驱动程序在集群上运行MR打包作业启动作业MR的Web界面获取结果作业调试Hadoop日志远程调试作业调优分析任务MapReduce的工作流...
探秘开源项目：MapReduce - 大数据处理的力量
最新发布
gitblog_00099的博客
03-27 275
探秘开源项目：MapReduce - 大数据处理的力量 项目地址:https://gitcode.com/xiaohei-info/MapReduce 在大数据时代，高效的数据处理能力是关键。今天，我们要介绍一个名为MapReduce的开源项目（GitCode仓库），它提供了一种强大的并行计算模型，旨在简化大规模数据集的处理。 项目简介 MapReduce是由Google在2004年提出的一种编程...
开源组件系列（11）：批处理引擎MapReduce
晓阳的数据小站
04-03 1293
(一)MapReduce设计目标 MapReduce诞生于搜索领域，主要解决搜索引擎面临的海量数据处理扩展性差的问题，很大程度上借鉴了Google开源的论文思想，包括了简化编程接口、提高系统容错性等特征。如果我们总计一下MapReduce的设计目标，主要有以下几个： 简化编程接口：传统的分布式程序设计非常复杂，用户需要关注的细节非常多，例如数据分片、传输、通信等问题...
分析MapReduce模型源码
夜阑听风
05-26 1367
在MapReduce编程模型中，有一个东西吸引了我的兴趣：代码如下：public static class TokenizerMapper extends Mapper&lt;Object, Text, Text, IntWritable&gt; { private final static IntWritable one = new IntWritable(1); private...
传递参数到mapreduce中
evo_steven的专栏
12-09 7138
今天写MapReduce程序遇到一些问题，就是需要生成一个参数并将这个参数的值传递给MapReduce函数，但是不知道如何实现，于是找到了一些参考网站成功实现了，关键点就在于Configuration参数设置于获取以及我的实现是基于新的MapReduce的api实现的。 Configuration conf = ServerConfig.getConfiguration();     
1_redis_hdfs_mapReduce_Eclipse_
09-30
标题中的“1_redis_hdfs_mapReduce_Eclipse_”暗示了我们即将探讨的是关于Redis、Hadoop的分布式文件系统HDFS、MapReduce编程模型以及Eclipse集成开发环境在这些技术中的应用。这些技术都是大数据处理和分布式计算...
java__Hadoop_MapReduce教程.rar
02-07
【描述】：本教程深入浅出地介绍了Java编程在Hadoop MapReduce框架中的应用，旨在帮助开发者理解和掌握如何使用MapReduce处理大规模数据。 【标签】：教育 【正文】： Hadoop MapReduce是Apache Hadoop项目的重要...
MapReduce实现单词计数并排序.zip_mapReduce_云计算_单词计数_统计单词_输出前三
09-24
这个MapReduce程序的实现通常用Java编写，因为Hadoop——一个流行的开源实现MapReduce的框架，其API是用Java设计的。在"MapReduce实现单词计数并排序.java"文件中，你可以找到具体的实现细节，包括Mapper类、Reducer...
MR.rar_hadoop_mapReduce_paidabk
09-24
标题中的“MR.rar_hadoop_mapReduce_paidabk”暗示了这是一个与Hadoop MapReduce相关的压缩文件，其中可能包含了实现MapReduce算法的源代码以及与Hadoop框架相关的JAR包。这个压缩包很可能是为了帮助开发者理解和...
Orkut-Java.rar_orkut in java_orkut java_social_social networking
09-24
其次，Java的开源生态系统为Orkut提供了丰富的库和框架。例如，Spring框架用于构建应用的MVC架构，提供依赖注入和事务管理等功能，增强了代码的可维护性和灵活性。Hibernate作为ORM（对象关系映射）工具，简化了...
MapReduce应用
chuangangliu8460的博客
05-21 106
1、MapReduce实现矩阵相乘 一. 准备数据 #!/bin/bash if[$#-ne3] then echo"theremustbe3argumentstogeneratethetwomatriesfile!" exit1 fi cat...
hadoop context.write() 以多个字段为key
热门推荐
maixia24的专栏
10-22 1万+
context.write(字段1, value); context.write(字段2, value); 这样输出就是以字段1和字段2为key的数据了
(转)MapReduce源码分析总结
diebiaosang4496的博客
11-19 317
转者注：本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的，然而查找资料的时候，发现了这篇文章，并且发现caibinbupt已经对Hadoop的源代码已经进行了详细的分析，推荐大家阅读。 转自http://blog.csdn.net/HEYUTAO007/archive/2010/07/10/5725379.aspx 参考： 1 caibinbupt的源代码分析h...
Google开源C/C++版MapReduce框架
duxingxia356的专栏
02-26 804
据 GigaOM 消息，Google 上周宣布，将自己用 C++ 开发的 MapReduce 框架 MapReduce for C（MR4C）开源，此举可给 Hadoop 社区带来福音，因为这样用户就可以在自己的 Hadoop 环境中运行原生的 C 及 C++ 代码了。 Hadoop 是许多大数据应用的基础，它是由 Apache 基金会所开发的分布式系统基础架构，主要由分
MapReduce技术的开源C语言实现
nuaaqy的专栏
01-05 6750
一、Stanford大学的Phoenix系统（单机多核的应用）1、Phoenix是在共享内存的体系结构上的MapReduce实现。它的目标是在多核平台上，使程序执行得更高效，而且使程序员不必关心并发的管理。事实上并发管理，尽管是经验丰富的程序员，也难免在这上面出错。2、Phoenix由一组对程序应用开发者开放的简单API和一个高效的运行时组成。运行时系统处理程序的并发、资源管理和错误修复，
MapReduce分布式离线计算框架学习摘要（一）
advent86的专栏
05-05 950
一、MapReduce简单概述 在Hadoop中有两个核心的模块，一个是大数据量文件的存储HDFS，另一个是能够做快速的数据分析，则为MapReduce。 百度百科介绍： 二、MapReduce的特点 它适合做“离线”(存储在本地)的海量数据计算，通常计算的数据量在PB级别或者ZB级别 MapReduce的主要特点如下： 易于编程 扩展性良好 高容错性 ...
Hadoop2-MapReduce(2)
lalala003的专栏
06-30 688
新的API： //Mapper MyMapper extends Mapper map(LongWritable key,Text value,Context context) throws ...{ .... context.write(new Text(year),new IntWriteable(..)); } //Reducer MyReducer exte
兰州城市学院软件工程学生云应用MapReduce开发实践
项目背景设置在兰州城市学院的云计算实验室，实验对象是使用CentOS-7操作系统，这是一种广泛应用于服务器环境的Linux发行版，因其稳定性高和开源特性而受到欢迎。 学生需要在实验环境中，利用具有至少2GB内存和500...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值