自己完成的第一个Map-Reduce, 类似模板匹配

最新推荐文章于 2021-03-24 10:54:49 发布
最新推荐文章于 2021-03-24 10:54:49 发布
阅读量2.6k 收藏 1
点赞数
分类专栏： Big Data JAVA 原创
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ShiZhixin/article/details/9019889
版权
原创 同时被 3 个专栏收录
70 篇文章 0 订阅
订阅专栏
Big Data
34 篇文章 1 订阅
订阅专栏
JAVA
12 篇文章 0 订阅
订阅专栏

终于完成了自己的第一个MAP-REDUCE程序，程序的主要功能是对输入文件中的一组向量，计算新的向量和文件中的向量距离，并按距离从小到大排序。下一步计算应用到高维数据中寻找相似向量的程序中。

从Map-reduce程序开发的角度考虑自己做的这个程序，以后需要注意的这几点：

1、map根据定义的输入格式自动读入数据，默认的是对文本文件中每行的值读取作为value, 看很多书说其key是行，我觉得准确的说应该key是每行的首地址，相对于最开始的偏移量。这从下面的console的输出可以看出。另外，我也试验过如果输入是一个文件夹，map会自动的按文件逐个读取文件的内容，并且对每个文件的key也是每行的首地址值。

2、根据1中提到的，这样Map的个数应该由文本文件中的函数决定，而reduce的个数个人理解是根据你在map中context.write写入的key的值相关，它会自动把相同的key归并到一起，也就是说，如果map读入key的值，你在写context.write中，把所有的key按照key%10 == 0来划分设置key=A，or key = B, 这样reduce就只有两个，并把key==A对应的所有的value的值归并到一起传递给reduce中的Iterable<Text>中。总之，map的个数和读入的数据格式有关，reduce的个数和map函数中写入的key的值的组数有关，相同的key会合并为一个。

3、注意map和reduce的输入输出，map的输出和reduce的输入类型要一一致。另外函数里面的类型也要一致或者做类型转换。

4、map的输出会自动按照key的值进行归并，同样，reduce的输出也会按照大小进行排序输出，比如这个例子的reduce-key是distance，他会按照distance的值的大小进行排序输出，具体见输出文件。

输入文件：model_data

10 11 12 13 14
20 21 22 23 24
10 13 13 12 11
30 31 32 33 34
10 16 17 12 14
40 41 42 43 44
50 51 52 53 54
32 36 38 34 35
22 24 26 23 27
52 54 53 53 58

主程序ModelMatch.java 

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class ModelMatch {

	public static void main(String[] args) throws Exception
	{
		
		Path inputPath = new Path("hdfs://192.168.56.171:9000/ModelMatch/input/model_data");
		Path outputPath = new Path("hdfs://192.168.56.171:9000/ModelMatch/output");


			Configuration conf = new Configuration();
			conf.set("fs.default.name", "hdfs://192.168.56.171:9000");
			
			//if exists the output path, delete it
			FileSystem fs = FileSystem.get(conf);			
			if (fs.exists(outputPath)) {
				fs.delete(outputPath, true);				
			}
			
			Job job = new Job(conf,"ModelMatch");
			job.setJarByClass(ModelMatch.class);
			job.setOutputKeyClass(Text.class);
			job.setOutputValueClass(Text.class);
			job.setMapperClass(MMapper.class);
			job.setMapOutputKeyClass(DoubleWritable.class);
			job.setMapOutputValueClass(Text.class);
			job.setReducerClass(MReducer.class);
			FileInputFormat.addInputPath(job, inputPath);
			FileOutputFormat.setOutputPath(job, outputPath);
			job.waitForCompletion(true);

	}

}

Map程序：MMapper.java 

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;


public class MMapper extends Mapper<LongWritable, Text, DoubleWritable, Text>{
	
	  final int DATASIZE = 5;
	  double[] newData = {11, 11, 11, 11, 11};
	  
	  protected void setup(Context context) throws IOException,InterruptedException
	    { 
		  //System.out.println("map setup");		  
		  
	    }
	  
	  public void map(LongWritable key,Text value,Context context) throws IOException,InterruptedException  
	    { 
		  //System.out.println("-- map start --");
		  System.out.println("-- key --" + key.get() + "-- value --" + value);
		  
		  double[] tmpModData = new double[DATASIZE];
		  int count = 0;
		  
		  String lineString = value.toString();
		  StringTokenizer tokenizer = new StringTokenizer(lineString);
		  while (tokenizer.hasMoreTokens()) {
			String valString = tokenizer.nextToken();
			tmpModData[count] = Double.parseDouble(valString);
			count++;			
		}
		  if (count != DATASIZE) {
			  System.out.println("Map Token Error!");				
		}
		  double distance = GetDistance(tmpModData, newData);
		  if (distance == -1) {
			  System.out.println("Map GetDistance Error!");
			
		}
		  context.write(new DoubleWritable(distance), new Text(value));
		  //System.out.println("-- map end --");
	    }
	  
	  public double GetDistance(double[] arrayA, double[] arrayB){
		  if (arrayA.length != arrayB.length) {
			  return -1;
			
		}
		  double dis = 0;
		  for (int i = 0; i < arrayA.length; i++) {
			  dis += Math.pow(arrayA[i] - arrayB[i], 2);
			
		}
		  
		  return dis;
	  }

}

Reduce程序：MReducer.java 

import java.io.IOException;
import java.util.Iterator;

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;


public class MReducer extends Reducer<DoubleWritable, Text, DoubleWritable, Text> {  
    
    
  public void reduce(DoubleWritable key,Iterable<Text> value,Context context) throws IOException,InterruptedException  
  {
	  //System.out.println("-- reduce start--");
	  System.out.println("-- distance --" + key);
	  for (Iterator<Text> iterator = value.iterator(); iterator.hasNext();) {
		Text val = iterator.next();
		System.out.println("-- value --" + val);
		context.write(key, val);
	}
	  
	 // System.out.println("-- reduce end--");
	  
  }

}

Console输出 

13/06/04 10:16:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/06/04 10:16:12 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/06/04 10:16:12 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
13/06/04 10:16:12 INFO input.FileInputFormat: Total input paths to process : 1
13/06/04 10:16:12 WARN snappy.LoadSnappy: Snappy native library not loaded
13/06/04 10:16:12 INFO mapred.JobClient: Running job: job_local_0001
13/06/04 10:16:12 INFO util.ProcessTree: setsid exited with exit code 0
13/06/04 10:16:12 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@1961581
13/06/04 10:16:12 INFO mapred.MapTask: io.sort.mb = 100
13/06/04 10:16:12 INFO mapred.MapTask: data buffer = 79691776/99614720
13/06/04 10:16:12 INFO mapred.MapTask: record buffer = 262144/327680
-- key --0-- value --10 11 12 13 1413/06/04 10:16:12 INFO mapred.MapTask: Starting flush of map output

-- key --15-- value --20 21 22 23 24
-- key --30-- value --10 13 13 12 11
-- key --45-- value --30 31 32 33 34
-- key --60-- value --10 16 17 12 14
-- key --75-- value --40 41 42 43 44
-- key --90-- value --50 51 52 53 54
-- key --105-- value --32 36 38 34 35
-- key --120-- value --22 24 26 23 27
-- key --135-- value --52 54 53 53 58
13/06/04 10:16:12 INFO mapred.MapTask: Finished spill 0
13/06/04 10:16:12 INFO mapred.Task: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
13/06/04 10:16:13 INFO mapred.JobClient:  map 0% reduce 0%
13/06/04 10:16:15 INFO mapred.LocalJobRunner: 
13/06/04 10:16:15 INFO mapred.Task: Task 'attempt_local_0001_m_000000_0' done.
13/06/04 10:16:15 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@76e8a7
13/06/04 10:16:15 INFO mapred.LocalJobRunner: 
13/06/04 10:16:15 INFO mapred.Merger: Merging 1 sorted segments
13/06/04 10:16:15 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 252 bytes
13/06/04 10:16:15 INFO mapred.LocalJobRunner: 
-- distance --10.0
-- value --10 13 13 12 11
-- distance --15.0
-- value --10 11 12 13 14
-- distance --72.0
-- value --10 16 17 12 14
-- distance --615.0
-- value --20 21 22 23 24
-- distance --915.0
-- value --22 24 26 23 27
-- distance --2215.0
-- value --30 31 32 33 34
-- distance --2900.0
-- value --32 36 38 34 35
-- distance --4815.0
-- value --40 41 42 43 44
-- distance --8415.0
-- value --50 51 52 53 54
-- distance --9267.0
-- value --52 54 53 53 58
13/06/04 10:16:15 INFO mapred.Task: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
13/06/04 10:16:15 INFO mapred.LocalJobRunner: 
13/06/04 10:16:15 INFO mapred.Task: Task attempt_local_0001_r_000000_0 is allowed to commit now
13/06/04 10:16:15 INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to hdfs://192.168.56.171:9000/ModelMatch/output
13/06/04 10:16:16 INFO mapred.JobClient:  map 100% reduce 0%
13/06/04 10:16:18 INFO mapred.LocalJobRunner: reduce > reduce
13/06/04 10:16:18 INFO mapred.Task: Task 'attempt_local_0001_r_000000_0' done.
13/06/04 10:16:19 INFO mapred.JobClient:  map 100% reduce 100%
13/06/04 10:16:19 INFO mapred.JobClient: Job complete: job_local_0001
13/06/04 10:16:19 INFO mapred.JobClient: Counters: 22
13/06/04 10:16:19 INFO mapred.JobClient:   File Output Format Counters 
13/06/04 10:16:19 INFO mapred.JobClient:     Bytes Written=212
13/06/04 10:16:19 INFO mapred.JobClient:   FileSystemCounters
13/06/04 10:16:19 INFO mapred.JobClient:     FILE_BYTES_READ=604
13/06/04 10:16:19 INFO mapred.JobClient:     HDFS_BYTES_READ=300
13/06/04 10:16:19 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=81710
13/06/04 10:16:19 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=212
13/06/04 10:16:19 INFO mapred.JobClient:   File Input Format Counters 
13/06/04 10:16:19 INFO mapred.JobClient:     Bytes Read=150
13/06/04 10:16:19 INFO mapred.JobClient:   Map-Reduce Framework
13/06/04 10:16:19 INFO mapred.JobClient:     Map output materialized bytes=256
13/06/04 10:16:19 INFO mapred.JobClient:     Map input records=10
13/06/04 10:16:19 INFO mapred.JobClient:     Reduce shuffle bytes=0
13/06/04 10:16:19 INFO mapred.JobClient:     Spilled Records=20
13/06/04 10:16:19 INFO mapred.JobClient:     Map output bytes=230
13/06/04 10:16:19 INFO mapred.JobClient:     Total committed heap usage (bytes)=182779904
13/06/04 10:16:19 INFO mapred.JobClient:     CPU time spent (ms)=0
13/06/04 10:16:19 INFO mapred.JobClient:     SPLIT_RAW_BYTES=119
13/06/04 10:16:19 INFO mapred.JobClient:     Combine input records=0
13/06/04 10:16:19 INFO mapred.JobClient:     Reduce input records=10
13/06/04 10:16:19 INFO mapred.JobClient:     Reduce input groups=10
13/06/04 10:16:19 INFO mapred.JobClient:     Combine output records=0
13/06/04 10:16:19 INFO mapred.JobClient:     Physical memory (bytes) snapshot=0
13/06/04 10:16:19 INFO mapred.JobClient:     Reduce output records=10
13/06/04 10:16:19 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=0
13/06/04 10:16:19 INFO mapred.JobClient:     Map output records=10

最终结果输出

distance     vector

10.0	10 13 13 12 11
15.0	10 11 12 13 14
72.0	10 16 17 12 14
615.0	20 21 22 23 24
915.0	22 24 26 23 27
2215.0	30 31 32 33 34
2900.0	32 36 38 34 35
4815.0	40 41 42 43 44
8415.0	50 51 52 53 54
9267.0	52 54 53 53 58


zstarstone
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce教程(一)基于MapReduce框架开发
yuan_xw的专栏
01-17 1万+
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算,用于解决海量数据的计算问题。 MapReduce分成了两个部分： 1、映射（Mapping）对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping。 2、化简（Reducing ）遍历集合中的元素来返回一个综合的结果。即，输出表单里一列数字的和这个任务属于reducing。 你向MapReduce 框架提交一个计算作业时，它会首先把计算作业
CSP-JS 2021第二轮认证测试数据
最新发布
01-09
4. **数组操作**：熟练运用数组的内置方法，如map、filter、reduce、splice等，进行数据处理。 5. **事件处理与DOM操作**：在Web环境下，了解如何通过JavaScript操作HTML元素，处理用户交互事件。 6. **异步编程**...
10天Hadoop快速突击（3）——开发MapReduce应用程序
小哲的博客
06-10 2072
开发MapReduce应用程序一、系统参数的配置1.通过API对相关组件的参数进行配置这些API被分成了一下几个部分：org.apache.hadoop.conf：定义了系统参数的配置文件处理APIorg.apache.hadoop.fs：定义了抽象的文件系统APIorg.apache.hadoop.dfs：Hadoop分布式文件系统（HDFS）模块的实现org.apache.hadoop.map...
形象解释mapreduce
keith0812的专栏
01-09 2661
第一篇 我们在Domions点餐之后，柜台的小伙子告诉我们说披萨需要15分钟才能准备好。于是，我问妻子：“你真的想要弄懂什么是MapReduce？” 她很坚定的回答说“是的”。 因此我问道： 我： 你是如何准备洋葱辣椒酱的？（以下并非准确食谱，请勿在家尝试） 妻子： 我会取一个洋葱，把它切碎，然后拌入盐和水，最后放进混合研磨机里研磨。这样就能得到洋葱辣椒酱了。 妻子： 但这和MapRe
matlab map reduce,MapReduce 快速入门
weixin_31360095的博客
03-24 468
准备数据使用 mapreduce 的第一步是为数据集构造数据存储。数据集的数据存储与 map 和 reduce 函数一样，都是 mapreduce 的必要输入，因为 mapreduce 需要利用数据存储来处理数据块中的数据。mapreduce 可处理大多数数据存储类型。例如，为 airlinesmall.csv 数据集创建一个 TabularTextDatastore 对象。ds = tabula...
模板匹配(Match Template)
weixin_33750452的博客
02-05 949
作者：王先荣 前言    模板匹配是在图像中寻找目标的方法之一。Come On, Boy.我们一起来看看模板匹配到底是怎么回事。   模板匹配的工作方式    模板匹配的工作方式跟直方图的反向投影基本一样，大致过程是这样的：通过在输入图像上滑动图像块对实际的图像块和输入图像进行匹配。    假设我们有一张100x100的输入图像，有一张10x10的模板图像，查找的过程是这样的：  （1）从输...
50C1-080502-884
02-12
3. **函数**：JavaScript中的函数是第一类对象，可以作为参数传递，也可以作为返回值。 4. **对象与原型链**：对象是属性和方法的集合，JavaScript通过原型链实现对象间的继承。 5. **数组与字符串**：JavaScript...
js-jsnacks-blocco-1
03-25
在这个名为"js-jsnacks-blocco-1-master"的压缩包中，我们可以期待找到的是JavaScript的第一部分学习资料。以下是一些可能包含的关键知识点： 1. **基础语法**：包括变量声明（var、let、const）、数据类型（如字符...
Php100-31-40
05-23
标题“Php100-31-40”和描述中的信息虽然简洁，但我们可以推断这可能是一个关于PHP编程的系列教程，涵盖了从第31讲到第40讲的内容。标签同样重申了这一主题。以下是根据提供的PPT文件名推测的各个章节的关键知识点：...
JavaScript 权威指南（第6版）
02-22
《JavaScript 权威指南（第6版）》是JavaScript编程领域的一本经典之作，由Douglas Crockford、David Flanagan等专家编写。这本书全面深入地介绍了JavaScript这门语言，帮助开发者掌握其核心概念和最佳实践。以下是...
利用MapReduce统计文章中汉字的个数(正则表达式的使用)
敲代码的余文乐的博客
07-24 1581
写了一个简单的MapReduce程序，主要目的是想记录一下正则表达式的使用 注意事项： 需要传入两个参数，参数1为输入文件路径，参数2为输出路径 为方便测试MapReduce，避免经常修改代码并打包上传，可以搭建Windows版本的Hadoop环境 需要创建Maven工程 需要注意输入文件的编码格式，建议利用记事本更改为UTF-8，避免乱码 代码如下 package com.orac...
自称能自动进行模板匹配并抓取的垂直搜索都是假的
chengg0769 平淡无奇见真知
12-29 943
我的一个反例子是如果对国际远程飞机票，我同时在网站上报价，并以人民币，日元，韩元，新元，港币，印度币，欧元，俄罗斯币，英镑，美元。。。，而且不同的航线用不同的币别来报价，谁很NB的站出来说他能自动匹配而且抓取并能作自动换算，TMD，这都是商业宣传。 还有一个反例，我在报价的表格里不定时的插入几个暗字符来干扰垂直搜索，谁能很NB的站出来说他的模板能自动匹配并正确抓取？哪一天我很高兴突然把币别
MapReduce程序开发
小黑
05-05 8946
通过API操作之前要先了解几个基本知识基本数据类型Hadoop的基本数据类型和Java的基本数据类型是不一样的，但是都存在对应的关系如下图 如果需要定义自己的数据类型，则必须实现Writable hadoop的数据类型可以通过get方法获得对应的java数据类型 而java的数据类型可以通过hadoop数据类名的构造函数，或者set方法转换关于Hadoop的Writable接口，详情请看Had
第一个MapReduce程序开发
Mekeater的博客
06-26 930
第一个MapReduce程序开发 前言 上篇博文已经搭建完成了Hadoop的开发环境，后面我们就需要专注于MapReduce的开发了。本文介绍如何利用MapReduce进行单词个数统计的代码实现，完整介绍一个Job作业的开发流程。 一、Job作业体系结构 一次Job作业包括5个阶段，其中只有Map阶段和Reduce阶段是需要我们去编写逻辑代码的，其它阶段都是自动完成。 二、单词统计（WordCount）例子分析 二、单词统计（WordCount）程序开发 1、将数据上传至HDFS aa.log的数据如
基于Map-Reduce的相似度计算
热门推荐
雨石
07-10 1万+
基于Map-Reduce的相似度计算 不久前（6.29），参加了ChinaHadoop的夏季沙龙，听了人人的大牛讲了基于Map-Reduce的相似度计算的优化，感觉对Map-Reduce编程模型的理解又进一步加深了，在这里把该算法总结成博文，以期能够更加透彻的理解该算法。 相似度的计算在文本的分类、聚类、推荐系统、反作弊中应用广泛。基于Map-Reduce的相似度计算顺应大数据的潮流，其算法思想值得借鉴。
MapReduce框架中map、reduce方法的运行机制
AI吃大瓜的博客
07-06 1828
MapReduce框架中map、reduce方法的运行机制       Hadoop的API中提供了Mapper和Reducer抽象类，分别有个抽象map()方法和reduce()方法，使用时只需实现该抽象类和抽象方法即可。       map()方法主要是将字符串解析成键值对（Key-Value）的形式，比如（Key=Hello，Value=1），然后发给Reducer端进行统计。
mapreduce文件匹配相同数据多文件输出
weixin_33894640的博客
01-02 334
2019独角兽企业重金招聘Python工程师标准>>> ...
MapReduce开发总结
weixin_39868387的博客
12-01 415
在编写MapReduce程序时，需要考虑如下几个方面： MapReduce开发总结 Hadoop数据压缩 压缩概述 压缩策略和原则 MR支持的压缩编码 为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示。 压缩性能的比较 压缩方式选择 Gzip压缩 Bzip2压缩 Lzo压缩 Snappy压缩 压缩位置选择 压缩可以在MapReduce作用的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值