多种输入的MapReduce程序实例

原创 2015年11月21日 10:55:29

数据集

一共有两个文件需要处理,一个为file1,一个为file2。如下。


/test/file1,文件内容如下。每行数据以制表符分开
cqnu 重庆师范大学
cqu 重庆大学


/test/file2,文件内容如下。每行数据以,分开。
thu,清华大学
pku,北京大学
nju,南京大学

任务

把两个文件的内容整合成如下格式
学校简称:cqnu 学校全称:重庆师范大学
学校简称:cqu 学校全称:重庆大学
学校简称:nju 学校全称:南京大学
学校简称:pku 学校全称:北京大学
学校简称:thu 学校全称:清华大学

解决方法

采用MultipleInputs来处理,详见API文档
MultipleInputs

示例代码

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.MultipleInputs;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class TestJoin {

    //file1的Mapper
    public static class TestJoinMapperByKeyValue extends Mapper<Text, Text, Text, Text>{

        public void map(Text key, Text value, Context context) throws IOException, InterruptedException{
            context.write(key, value);
        }
    }
    //file2的Mapper 
    public static class TestJoinMapperByText extends Mapper<LongWritable, Text, Text, Text>{

        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException{
            String []str = value.toString().split(",");
            context.write(new Text(str[0]),new Text( str[1]));
        }
    }

    public static class TestJoinReducer extends Reducer<Text, Text, Text, Text>{

        public void reduce(Text key, Iterable<Text> value, Context context) throws IOException, InterruptedException{
            for(Text v : value){
                Text k = new Text();
                k.set("学校简称:" + key.toString());
                Text val = new Text();
                val.set("学校全称:" + v.toString());
                context.write(k, val);
            }
        }
    }
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        if(args.length < 2){
            System.out.println("args must be three");return ;
        }
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf,"TestJoin");
        job.setJarByClass(TestJoin.class);


        job.setReducerClass(TestJoinReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        //多种输入
        //不同的输入文件采用不同的Mapper处理
        MultipleInputs.addInputPath(job, new Path(args[0]), KeyValueTextInputFormat.class, TestJoinMapperByKeyValue.class);
        MultipleInputs.addInputPath(job, new Path(args[1]), TextInputFormat.class, TestJoinMapperByText.class);

        FileOutputFormat.setOutputPath(job, new Path(args[2]));
        System.exit(job.waitForCompletion(true)?0:1);
    }

}
版权声明:本文为博主原创文章,未经博主允许不得转载。

hadoop中MapReduce多种join实现实例分析

一、概述     对于RDBMS中的join操作大伙一定非常熟悉,写sql的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能瓶颈,而在Hadoop中使用MapReduce框架进行join的操...
  • zz0548
  • zz0548
  • 2016年05月11日 15:33
  • 213

Hadoop中MapReduce多种join实现实例分析

感谢分享:http://database.51cto.com/art/201410/454277.htm 1、在Reudce端进行连接。 在Reudce端进行连接是MapReduce框架进行表...

hadoop中MapReduce多种join实现实例分析

一、概述     对于RDBMS中的join操作大伙一定非常熟悉,写sql的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能瓶颈,而在Hadoop中使用MapReduce框架进行join的操作...

hadoop中MapReduce多种join实现实例分析

原文出处: http://zengzhaozheng.blog.51cto.com/8219051/1392961 一、概述     对于RDBMS中的join操作大伙一定...

Hadoop中MapReduce多种join实现实例分析

Hadoop中MapReduce多种join实现实例分析     一、概述 对于RDBMS中的join操作大伙一定非常熟悉,写sql的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能...

MapReduce多种输入格式

MapReduce多种输入格式         文件是 MapReduce 任务数据的初始存储地。正常情况下,输入文件一般是存储在 HDFS 里面。这些文件的格式...

编写mapreduce程序实例——数据去重

每一行为一个日期及一个人名字,分为3个文件,其中存在多行重复数据,需要进行去重。输入文件:file1: 2006-6-9 a 2006-6-11 b 2006-6-21 c 2006-6-10...

Hadoop 实例15 MultipleInputs实战2:多种自定义文件格式的文件输入处理

MultipleInputs 可以让MR支持多种输入格式。比如我们有两种文件格式,那么我们就需要有两套 Record Class, RecordReader和InputFormat。MultipleI...

C++标准程序库的输入输出流(I/O Stream)复制文件(多种方法)

使用C++标准程序库的输入输出流(I/O   Stream)复制文件,存在许多的方法, 方法一:逐个字符复制 #include   std::ifstream   input( "in...
  • kl222
  • kl222
  • 2012年04月06日 13:36
  • 1552

MapReduce输入输出类型、格式及实例

输入格式1、输入分片与记录 2、文件输入 3、文本输入 4、二进制输入 5、多文件输入 6、数据库格式输入1、输入分片与记录1、JobClient通过指定的输入文件的格式来生成数据分片Inp...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:多种输入的MapReduce程序实例
举报原因:
原因补充:

(最多只允许输入30个字)