MultipleOutputs---多文件输出

最新推荐文章于 2021-02-24 10:37:18 发布
最新推荐文章于 2021-02-24 10:37:18 发布
阅读量507 收藏 1
点赞数
分类专栏： MapReduce 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jpday/article/details/105976317
版权 
package com.bj58.search.experience.searchcommunityname;

import com.bj58.search.qa.contract.agent.IQAService;
import com.bj58.search.qa.contract.entity.*;
import com.bj58.spat.scf.client.SCFInit;
import com.bj58.spat.scf.client.proxy.builder.ProxyFactory;
import org.apache.commons.cli.CommandLine;
import org.apache.commons.cli.GnuParser;
import org.apache.commons.cli.HelpFormatter;
import org.apache.commons.cli.Options;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.*;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.*;
import java.util.regex.Pattern;

/**
 * @Author:jieping
 * @Description:租房下用户搜索query中小区词的提取
 * @Date: Create in 21:45 2019/9/9
 */
public class imeikeywordlocalcn extends Configured implements Tool {

    private static IQAService service;

    public static class imeikeywordlocalcnMapper extends Mapper<LongWritable, Text, Text, Text> {

        public boolean isNumeric(String str) {
            Pattern pattern = Pattern.compile("^[-\\+]?[\\d]*$");
            return pattern.matcher(str).matches();
        }

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String logStr = value.toString();
            InputSplit inputSplit = context.getInputSplit();
            Path p = ((FileSplit) inputSplit).getPath();
            String pstr = p.toString();
            String ds_cityid = "";
            String keyword = "";
            if (pstr.contains("zf_imeisearch")) {
                String [] logstrArray = logStr.trim().split("\t");
                if(logstrArray.length != 7){
                    context.getCounter("##imeikeywordlocalcnMapper", "输入文件的字段不是7个").increment(1);
                    return;
                }
                keyword = logstrArray[2];
                ds_cityid = logstrArray[5];
                if((!keyword.equals("")) && (!ds_cityid.equals(""))){
                    context.write(new Text(keyword + "_" + ds_cityid), new Text(logStr.trim()));
//                    System.out.println(keyword + "_" + ds_cityid + "\t" + logStr.trim());
                }else{
                    context.getCounter("##imeikeywordlocalcnMapper", "keyword and ds_cityid key is null").increment(1);
                }
            }
        }
    }

    public static class imeikeywordlocalcnReducer extends Reducer<Text, Text, Text, Text> {

        private static final long DEVTIME = 400; // ms
        private long scfQps = 200;     // per minute
        private long scfTimes = 10;    // ms
        private static final double ratio = 0.75;
        private static boolean bFirst = true;
        private static long starttime = 0;
        private static long startId = 0;
        private static long id = 0;
        private MultipleOutputs<Text,Text> mos;
        private static String date;

        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            mos = new MultipleOutputs<Text, Text>(context);
            date = context.getConfiguration().get("date");
//            String os=System.getProperties().getProperty("os.name");
//            String userDir="";
//            String scfkeyPath="";
//            System.out.println("system style is " + os);
//            if(os.equals("Linux"))
//            {
//                userDir = JarToolUtil.getJarPath();
//                System.out.println("userDir:" + userDir);
//                scfkeyPath = userDir + "/scfkey.key";
//            } else {
//                userDir = System.getProperty("user.dir");
//                scfkeyPath = userDir + "\\src\\resources\\config\\scfkey.key";
//            }
            SCFInit.initScfKeyByValue("mCXt7Cx0XYCcdvveK9+kiJZBpNhMGJnz");
            service = ProxyFactory.create(IQAService.class, "tcp://" + "qaservice" + "/QAService");

            Integer allQps = 60000;
            Integer reduceNum = 10;
            //为了防止误差，尽可能将一个DEVTIME内的数设置成整数，防止出现浪费
            //reduceNum的个数尽可能的小，值越大则会导致误差越大
            scfQps = (long)(allQps / reduceNum * ratio);
            scfTimes = (scfQps / 60 * DEVTIME / 1000 > 0) ? scfQps / 60 * DEVTIME / 1000 : 1;
        }

        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            String [] kk = key.toString().split("_");
//            System.out.println(key.toString());
            context.getCounter("##imeikeywordlocalcnReducer", "reduce input num is").increment(1);
            if(kk.length != 2) {
                context.getCounter("##imeikeywordlocalcnReducer", "reduce of key's length not two num is").increment(1);
                return;
            }
            wait2RunService();
            QARequest request = new QARequest();
            request.setText(kk[0]);
            request.setCityId(kk[1]);
            request.setType(LocalTypeEnum.local58);
            QAResult result = null;
            try {
                result = service.queryAnalysis(request);
            } catch (Exception e) {
//                System.out.println("keyword:" + kk[0] + "localid:" + kk[1]);
                context.getCounter("##imeikeywordlocalcnReducer", "service.queryAnalysis is not right").increment(1);
                e.printStackTrace();
            }

            if((result != null) && (result.getTagMap().size() > 0) ){
                List<String> cnames = new ArrayList<String>();
                List<String> cityIDcIdName = new ArrayList<String>();//城市id_小区id_小区名
//                Map<String, String> cIdName = new HashMap<String, String>();
                Map<TagTypeEnum, List<TagElement>> tagMap = result.getTagMap();
                if(tagMap.containsKey(TagTypeEnum.community)){
                    for (TagElement element : tagMap.get(TagTypeEnum.community)) {
                        if(element == null){
                            context.getCounter("##imeikeywordlocalcnReducer", "TagElement小区元素为空").increment(1);
                            System.out.print("当前key为：" + key +",小区城市id：" + kk[1]);
                            continue;
                        }
                        if(element.getText() == null){
                            context.getCounter("##imeikeywordlocalcnReducer", "小区名为空").increment(1);
                            System.out.print("当前key为：" + key +",小区城市id：" + kk[1]);
                            continue;
                        }
                        cnames.add(element.getText());
//                        String cityID = element.getValues().get("city58Id").toString();
//                        System.out.print("当前key为：" + key +",小区城市id：" + cityID);
                        String cityID = kk[1];
                        String communityID = "-999";
                        boolean flag = element.getValues().containsKey("community58Id");
                        if(flag){
                            communityID = element.getValues().get("community58Id").toString();
                        }
//                        System.out.println(",小区id：" + communityID);
                        cityIDcIdName.add(cityID + "_" + communityID + "_" + element.getText());
//                        System.out.print(element.getText()+" ");
//                        System.out.print("当前query识别出小区的长度为："+cnames.size());
                    }
                    StringBuffer bu = new StringBuffer();
                    StringBuffer bu2 = new StringBuffer();
                    for (String name : cnames) {
                        if(name.equals(cnames.get(cnames.size()-1))){
                            bu.append(name.trim());
                        }else {
                            bu.append(name.trim()).append("|");
                        }
                    }
                    for (String name : cityIDcIdName) {
                        if(name.equals(cityIDcIdName.get(cityIDcIdName.size()-1))){
                            bu2.append(name.trim());
                        }else {
                            bu2.append(name.trim()).append("|");
                        }
                    }
                    //打印输出数据
                    for (Text v : values) {
                        String [] logstrArray = v.toString().trim().split("\t");
                        String imei = logstrArray[1].trim();
                        String keywoqd = logstrArray[2].trim();
                        String discateid = logstrArray[3].trim();
                        String disareapath = logstrArray[6].trim();
                        StringBuffer output = new StringBuffer();
                        output.append(imei).append("_").append(keywoqd).append("_").append(discateid).append("_").append(disareapath);
//                        context.write(new Text(bu.toString()), new Text(output.toString()));
                        mos.write("imeikeywordlocalcn1", new Text(bu.toString()), new Text(output.toString()), "imeikeywordlocalcn1"+"/");//以imeikeywordlocalcn1命名的文件夹1
                        mos.write("imeikeywordlocalcncitycnameid", new Text(bu2.toString()), new Text(output.toString()),"imeikeywordlocalcncitycnameid"+"/");//以imeikeywordlocalcn1命名的文件夹2
//                        System.out.println(bu.toString() + "\t" + output.toString());
                    }
                }
            } else {
//                System.out.print("当前query使用qaservice服务没有任何识别结果！！！");
//                System.out.println("keyword:" + kk[0] +"\t"+ "localid:" + kk[1] +"\t"+ "result:" + result.toString());
                context.getCounter("##imeikeywordlocalcnReducer", "qaservice result is null").increment(1);
                return;
            }
            context.getCounter("##imeikeywordlocalcnReducer", "qaservice result is not null for keyword and ds_cityid's key count").increment(1);
        }

        @Override
        protected void cleanup(Context context) throws IOException, InterruptedException {
            //关闭多文件输出对象，刷新缓存数据
            mos.close();
        }

        public void wait2RunService() {
            if (bFirst) {
                starttime = System.currentTimeMillis();
                bFirst = false;
            }
            if (id - startId >= scfTimes) {
                long curtime = System.currentTimeMillis();
                if (curtime - starttime < DEVTIME) {
                    try {
                        Thread.sleep(DEVTIME + starttime - curtime);
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                }
                starttime = System.currentTimeMillis();
                startId = id;
            }
            id++;
        }
    }

    public int run(String[] args) throws Exception {
        Options opts = new Options();
        opts.addOption("h", "help", false, "Print this help message")
                .addOption("i", "input", true, "input path")
                .addOption("o", "output", true, "output path")
                .addOption("d","date",true,"date");
        CommandLine cmd = null;
        String inputStr = "";
        String outputStr = "";
        String date = "";
        try {
            cmd = new GnuParser().parse(opts, args);
            if (cmd.hasOption("help")) {
                new HelpFormatter().printHelp("Usage: cmd [OPTIONS]", opts);
                return 0;
            }
            inputStr = cmd.getOptionValue("i");
            outputStr = cmd.getOptionValue("o");
            date = cmd.getOptionValue("d");
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
        Configuration conf = this.getConf();
        conf.set("mapreduce.map.output.compress", "false");
        conf.set("mapreduce.output.fileoutputformat.compress", "false");
        conf.set("date", date);
//        Path outputPath = new Path(outputStr+"/"+date);
        Path outputPath = new Path(outputStr + "/" + date);
        FileSystem fs = FileSystem.get(conf);
        if (fs.exists(outputPath)) {
            fs.delete(outputPath, true);
        }
        Job job = Job.getInstance(conf);
        String[] inputs = inputStr.split(";");
        for (String s : inputs) {
            if (fs.exists(new Path(s + "/" + date)))
            {
                System.out.println("input path:" + s + "/" + date);
                FileInputFormat.addInputPath(job, new Path(s + "/" + date));
            }
        }
        System.out.println("output path:" + outputPath);
        job.setJarByClass(imeikeywordlocalcn.class);
        job.setJobName("imeikeywordlocalcnDocData");
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        System.out.println("imeikeywordlocalcnMapper is beginning################");
        job.setMapperClass(imeikeywordlocalcn.imeikeywordlocalcnMapper.class);
        System.out.println("imeikeywordlocalcnReducer is beginning################");
        job.setReducerClass(imeikeywordlocalcn.imeikeywordlocalcnReducer.class);
        MultipleOutputs.addNamedOutput(job, "imeikeywordlocalcn1", TextOutputFormat.class, Text.class, Text.class);
        MultipleOutputs.addNamedOutput(job, "imeikeywordlocalcncitycnameid", TextOutputFormat.class, Text.class, Text.class);
        FileOutputFormat.setOutputPath(job, outputPath);
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        job.setNumReduceTasks(10);
        return job.waitForCompletion(true) ? 0 : 1;
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        String inputPath = otherArgs[0];
        String outpath = otherArgs[1];
//        String outpath2 = otherArgs[2];
        String date = otherArgs[2];
        conf.set("mapreduce.job.queuename", "root.offline.hdp_teu_search.normal");
        conf.set("mapreduce.task.timeout", "0");
        conf.set("RunMode", "Online");
//        conf.set("ScfQps", otherArgs[3]);
//        conf.set("ReduceTask", otherArgs[4]);
        String[] args1={
                "-i",inputPath,
                "-o",outpath,
                "-d",date};
        ToolRunner.run(conf, new imeikeywordlocalcn(), args1);
    }
}

说明：

1.实际会在输出路径下创建两个文件夹，分别是imeikeywordlocalcn1和imeikeywordlocalcncitycnameid

2.使用多文件输出一定要clean，不然每次执行输出的文件大小不一样，非正常MR流程

JPDAYSUNDAY
关注
专栏目录
Hadoop 多文件输出 MultipleOutputFormat
SmartSi
07-23 397
FileOutputFormat 及其子类产生的文件放在输出目录下。一个 reducer 就会输出一个文件，文件名称的输出格式为 name-r-nnnnn，例如 part-r-00000： name 是由程序设定的任意名字，默认为 partnnnnn 是一个指名块号的整数（从0开始）。块号保证从不同块（mapper 或者 reducer）写的输出在相同名字情况下不会冲突。 有时可能要对输出的文件名进行控制或让每个 reducer 输出多个文件。MapReduce 为此提供了 MultipleOutputF
案例十二：多文件输出MultipleOutputs
yoghurt
10-06 508
案例十二：多文件输出MultipleOutputs 好几天没写什么了，今天写点工作当中比较常用的东西吧--MultipleOutputs 多路径输出，这个用的也比较多，比如可以输出分区的数据，方便hive里建表， 也可以分类数据，都比较方便了。 下篇再说一下多格式输出。主要用到MultipleOutputs这个类。直接上代码。 先贴一下数据
java 流 压缩 开源_java将多个文件打包压缩成输出流并下载
weixin_30220993的博客
02-13 507
//将磁盘的多个文件打包成压缩包并输出流下载@GetMapping(value = "/download1")public void download1(HttpServletRequest request, HttpServletResponse response) throwsException {String outputFileName= "文件" + new SimpleDateForm...
Mapreduce多目录/多文件输出
freespace
08-28 605
Mapreduce多目录/多文件输出   一，介绍 1，旧API中有 org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.mapred.lib.MultipleOutputs MultipleOutputFormat allowing to write the output data to differe...
案例：多文件输出
weixin_42604344的博客
08-04 295
hello world Hello World 123nihao QQ 163.com @qq.com (123) &amp;123 *abc hi gaoyuanyuan hello jiajingwen 单词首字母为a-z输出到一个文件中，并统计 单词首字母为A-Z输出到一个文件中，并统计 单词首字母为0-9输出到一个文件中，并统计 单词首字母为其他的输出到一个文件，并统计 案例代码： ...
Hadoop MultipleOutputs输出到多个文件中的实现方法
08-29
Hadoop MultipleOutputs输出到多个文件中的实现方法 Hadoop MultipleOutputs是Hadoop MapReduce框架中的一种输出机制，可以将输出写入到多个文件中。下面将详细介绍Hadoop MultipleOutputs输出到多个文件中的实现...
Hadoop使用MultipleOutputs输出多文件或者指定命名
jediael_lu的专栏
08-03 1210
Hadoop使用MultipleOutputs输出多文件或者指定命名@(HADOOP)[hadoop]（一）输出多文件（未测试）比如将不同国家的信息分别输出到一份对应的文件中。1、在reduce或map类中创建MultipleOutputs对象，将结果输出class reduceStatistics extends Reducer<Text, IntWritable, Text, IntWritab
Hadoop MapReduce多输出详细介绍
09-30
在VacationOrderBySexReducer的reduce()方法中，通过调用MultipleOutputs.addNamedOutput()创建了多个输出流，并将数据按性别分类输出到不同的文件中。 在实践中，开发者还需要考虑如何配置Job和输入输出路径、如何...
使用MultipleOutputs方法将mapreduce分组输出
端木胥的博客
05-13 251
使用MultipleOutputs方法将mapreduce分组输出 MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用通过使用Map和Reduce函数，再定义输入输出就能得到我们想要的结果。不过一般Map Reduce的输出只包含一个可视化输出文件（如下图part-r-00000文件），那么我们如果需要将这一个输出文件分为多个...
MultipleOutputs in Hadoop
贾亮的专栏
09-21 166
MultipleOutputs，说白了就是你想在Reduce中，将结果写到不同的文件中去的时候，来用的。 看看Hadoop的官网的例子和解释： 我们的Driver代码中使用到了MultipleOutputs，并且配置了两个输出前缀，分别是seq额text。 Job job = new Job(); FileInputFormat.setInputPath(job, inDir); File...
multipleOutputs Hadoop
weixin_30732825的博客
11-01 57
package org.lukey.hadoop.muloutput; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; ...
Hadoop多路径输出(MultipleOutputs)
coding笔记
11-16 1052
使用Hadoop进行数据处理时，有时候需要将计算结果根据不同的条件存入不同的分区。 比如：计算顾客是否回头购买的时候，会将回头了的顾客数据和未回头的顾客数据分别存入不同的表。 可以使用MultipleOutputs实现。 需要在reduce类中定义MultipleOutputs,并且重写Reducer的setup()方法和cleanup()方法。具体实例如下 public static c
Hadoop学习笔记———《MultipleOutputs———将结果输出到指定的多个文件或文件夹》
MJ
10-12 2412
在MapReduce中使用MultipleOutputs将结果输出到多个文件或文件夹 使用步骤主要有三步： 1、在reduce或map类中创建MultipleOutputs对象，将结果输出； class TestReducer extends Reducer{ //将结果输出到多个文件或多个文件夹 private MultipleOutputs mo
解读：MultipleOutputs类
weixin_30547797的博客
08-24 151
//MultipleOutputs类用于简化多文件输出The MultipleOutputs class simplifies writing output data to multiple outputs //案例一：在job默认的输出之外,附加自定义的输出.自定义的输出可以指定：输出格式以及 key/value 类型. Case one: writing to additional...
MapReduce处理输出多文件格式(MultipleOutputs)
Jonney's house
03-30 5454
MultiPleOutputs原理 MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR job运行之后，用脚本对目录下的数据
MapReduce当中自定义输出：多文件输出MultipleOutputs
qq_44594249的博客
07-28 636
自定义输出：多文件输出MultipleOutputs 对于刚才的单独订单topN的问题， 如果需要把单独的订单id的记录放在自己的一个文件中，并以订单id命名。怎么办？multipleOutputs可以帮我们解决这个问题。注意：和我们本章开始讲的多文件输出不一样的是，这里的多文件输出还可以跟程序的业务逻辑绑定在一起，比如文件的名字和订单有关系。 multipleOutputs的用法可以见底下的...
在Maprecue中利用MultipleOutputs输出多个文件
sunflower_cao的专栏
10-14 2970
用户在使用Mapreduce时默认以part-＊命名，M
JAVA文件流输出多个文件_javaSE中的输入输出流---一个读取流，对应多个输出流。而且生成的碎片文件都有有序的编号...
weixin_39757893的博客
02-24 1013
package com.io.other.split;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.util.Propertie...
MR-2.输出格式（OutputFormat）Multiple outputs多目录输出
艾文
01-26 2583
Hadoop的输出格式和输入格式对应，这里仅列出基于OutputFormat的实现类如图所示： FileOutputFormat和他的子类可以输出一个文件目录，每个reducer都生成一个文件。文件的命名规则：part-r-xxxx。  但有时需要控制每个reducer输出不同格式的文件目录，可以使用MultipleOutputs多目录输出类。 多目录输出（Mu
自定义Hadoop OutputFormat：单Reducer生成多输出文件
而MultipleOutputs则允许Reducer向多个不同的文件写入数据，这正是我们要实现多文件输出的情况。 MultipleOutputs类提供了在Reducer中创建多个输出流的能力，每个流对应一个不同的文件。在Reducer的run()方法中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值