定制mapreduce输出

这里以redis数据库为例。

这里的例子是,我想统计日志文件中的某天各个小时的访问量,日志格式为:

?
1
2014-02-1004:52:34127.0.0.1xxx

我们知道在写mapreduce job时,要配置输入输出,然后编写mapper和reducer类,hadoop默认输出是到hdfs的文件中,例如:

?
1
job.setOutputFormatClass(FileOutputFormat.class);

现在我们想要将任务计算结果输出到数据库(redis)中,怎么做呢?可以继承FileOutputFormat类,定制自己的类,看代码:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
publicclass LoginLogOutputFormat<K, V> extends FileOutputFormat<K, V> {
    /**
     * 重点也是定制一个RecordWriter类,每一条reduce处理后的记录,我们便可将该记录输出到数据库中
     */
    protectedstatic class RedisRecordWriter<K, V> extends RecordWriter<K, V>{
        privateJedis jedis; //redis的client实例
         
        publicRedisRecordWriter(Jedis jedis){
            this.jedis = jedis;
        }
         
        @Override
        publicvoid write(K key, V value) throws IOException,
                InterruptedException {
             
            booleannullKey = key == null;
            booleannullValue = value == null;
            if(nullKey || nullValue) return;
             
            String[] sKey = key.toString().split("-");
            String outKey = sKey[0]+"-"+sKey[1]+"-"+sKey[2]+"_login_stat";//zset key为yyyy-MM-dd_login_stat
            jedis.zadd(outKey.getBytes("UTF-8"), -1,
                        (sKey[3]+":"+value).getBytes("UTF-8"));//zadd, 其值格式为: 时刻:访问量
        }
 
        @Override
        publicvoid close(TaskAttemptContext context) throws IOException,
                InterruptedException {
            if(jedis != null) jedis.disconnect(); //关闭链接
        }
    }
     
    @Override
    publicRecordWriter<K, V> getRecordWriter(TaskAttemptContext job)
            throwsIOException, InterruptedException {
        Jedis jedis = RedisClient.newJedis(); //构建一个redis,这里你可以自己根据实际情况来构建数据库连接对象
        //System.out.println("构建RedisRecordWriter");
        returnnew RedisRecordWriter<K, V>(jedis);
    }
}
下面就是整个job实现:
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
publicclass LoginLogStatTask extends Configured implements Tool {
    publicstatic class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        @Override
        protectedvoid map(LongWritable key, Text value, Context context)
                throwsIOException, InterruptedException {
            if(value == null || "".equals(value))return;
            // 解析value,如: 2014-02-10 04:52:34 127.0.0.1 xxx
            String[] fields = value.toString().split(" ");
            String date = fields[0];
            String time = fields[1];
            String hour = time.split(":")[0];
            String outKey = date+"-"+hour;
            context.write(newText(outKey), new IntWritable(1));
        }
    }
     
    publicstatic class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
        @Override
        protectedvoid reduce(Text key, Iterable<IntWritable> values,
                Context context)
                throwsIOException, InterruptedException {
            intcount = 0;
            while(values.iterator().hasNext()){ //统计数量
                count ++;
                values.iterator().next();
            }
            context.write(key,new IntWritable(count));
        }
    }
 
    @Override
    publicint run(String[] args) throws Exception {
        Configuration conf = getConf();
        List<Path> inputs = new ArrayList<>();
        String inputPath = args[0];
        if(inputPath.endsWith("/")){//如果是目录
            inputs.addAll(HdfsUtil.listFiles(inputPath, conf));
        }else{//如果是文件
            inputs.add(newPath(inputPath));
        }
        longts = System.currentTimeMillis();
        String jobName = "login_logs_stat_job_" + ts;
        Job job = Job.getInstance(conf, jobName);
        job.setJarByClass(LoginLogStatTask.class);
        //添加输入文件路径
        for(Path p : inputs){
            FileInputFormat.addInputPath(job, p);
        }
        //设置输出路径
        Path out = new Path(jobName + ".out");//以jobName.out作为输出
        FileOutputFormat.setOutputPath(job, out);
        //设置mapper
        job.setMapperClass(MyMapper.class);
        //设置reducer
        job.setReducerClass(MyReducer.class);
         
        //设置输入格式
        job.setInputFormatClass(TextInputFormat.class);
        //设置输出格式
        job.setOutputFormatClass(LoginLogOutputFormat.class);
        //设置输出key类型
        job.setOutputKeyClass(Text.class);
        //设置输出value类型
        job.setOutputValueClass(IntWritable.class);
        job.waitForCompletion(true);
        returnjob.isSuccessful()?0:1;
    }
      
    publicstatic void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        intres = ToolRunner.run(conf, new LoginLogStatTask(), args);
        System.exit(res);
    }

运行job后,就会在redis数据库中有对应的key:

MySQL数据库从入门实战课

12-31
限时福利1:购课进答疑群专享柳峰(刘运强)老师答疑服务。 限时福利2:购课后添加学习助手(微信号:csdn590),按消息提示即可领取编程大礼包! 注意:原价129的课程,最后2天限时秒杀仅需49元!! 为什么说每一个程序员都应该学习MySQL? 根据《2019-2020年中国开发者调查报告》显示,超83%的开发者都在使用MySQL数据库。 使用量大同时,掌握MySQL早已是运维、DBA的必备技能,甚至部分IT开发岗位也要求对数据库使用和原理有深入的了解和掌握。 学习编程,你可能会犹豫选择 C++ 还是 Java;入门数据科学,你可能会纠结于选择 Python 还是 R;但无论如何, MySQL 都是 IT 从业人员不可或缺的技能! 【课程设计】 在本课程中,刘运强老师会结合自己十多年来对MySQL的心得体会,通过课程给你分享一条高效的MySQL入门捷径,让学员少走弯路,彻底搞懂MySQL。 本课程包含3大模块:  一、基础篇: 主要以最新的MySQL8.0安装为例帮助学员解决安装与配置MySQL的问题,并对MySQL8.0的新特性做一定介绍,为后续的课程展开做好环境部署。 二、SQL语言篇: 本篇主要讲解SQL语言的四大部分数据查询语言DQL,数据操纵语言DML,数据定义语言DDL,数据控制语言DCL,学会熟练对库表进行增删改查等必备技能。 三、MySQL进阶篇: 本篇可以帮助学员更加高效的管理线上的MySQL数据库;具备MySQL的日常运维能力,语句调优、备份恢复等思路。  
©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值