Hadoop，往map/reduce中传值的问题解决方法实例

最新推荐文章于 2022-02-09 20:04:37 发布
置顶 最新推荐文章于 2022-02-09 20:04:37 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： Java技术 hadoop技术 大数据分析 文章标签： hadoop mapreduce 实例 传值-解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012037852/article/details/54313681
版权

Hadoop，往map/reduce中传值的问题解决方法实例

最近在看一些map/reduce的程序，其中遇到一个问题：就是在类中定义的属性无法被mapreduce程序直接获取。

具体代码如下

public class KeyJob {

    public static class myMap extends Mapper<LongWritable, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();
        private final static List<String> target_words = new ArrayList<String>();

        @Override
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String[] items = value.toString().split(",");
            for (String item : items) {
                if (target_words.contains(item)) { 
                    word.set(item);
                    context.write(word, one);
                }
            }
        }


        public static void add(String word) {
            target_words.add(word);
            for (String s : target_words) {
                System.out.println(s);
            }
            System.out.println("------");
        }
    }

    public static class myReduce extends Reducer<Text, IntWritable, Text, IntWritable> {

        @Override
        public void reduce(Text key, Iterable<IntWritable> values, Context context)
                throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }

    public static void main(String[] args) throws Exception {
        String job_name="keywordcount";
        Configuration conf = new Configuration();
        conf.set("fs.default.name","hdfs://bigdata:9000");
         conf.set ("mapred.job.tracker", "bigdata:9001");

         Scanner scanner=new Scanner(System.in);
         String str=scanner.next();
        //  Add to target
        String[] target_words = str.split(",");
        for (String word : target_words) {
            myMap.add(word.toLowerCase());
        }

        Job job = new Job(conf, job_name);
        job.setJarByClass(KeyJob.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        job.setMapperClass(myMap.class);
        job.setReducerClass(myReduce.class);
        FileInputFormat.addInputPath(job, new Path("/user/hadoop/input/"+job_name+"/"));
        FileOutputFormat.setOutputPath(job, new Path("/user/hadoop/out/"+job_name));

        job.waitForCompletion(true);
    }

}

如果说按java代码的逻辑去理解是没有问题的
然而一个奇怪的坑就出现了

这里的target_words是没有值的，导致程序不会进入if语句里面，最后我们想查找的单词输出为空。而我们明明是赋过值的
这里写图片描述

这里写图片描述
查阅资料发现，原来map reduce是无法直接读取到target_words里面的值的。因为执行的main函数是在作业发布的客户端的JVM进程里对target_words赋的值，而你要取的target_words值则是在另外一个JVM里，即TASK运行的MAP这JVM进程里，所以这个值无法传递过去。

解决办法

通过 Configuration 来传递参数
在main函数中将要传递的值通过conf 来 set进去
这里写图片描述
然后在执行函数里面将set的值读取出来
这里写图片描述
问题解决

源码

以下是完整源码，笔者无偿共享，笔者被这个问题坑了一整天，希望大家多多交流，不要犯类似的问题。

package com.zlf.job;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import com.zlf.util.HdUtil;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;

public class Run {
    private static List<String> target_words = new ArrayList<String>();

    public static class WordMap extends
            Mapper<LongWritable, Text, Text, IntWritable> {
        private final IntWritable one = new IntWritable(1);
        private Text word = new Text();

        protected void setup(
                Context context)
                throws IOException, InterruptedException {

            /** 通过conf把传入的值取出来*/
            Configuration conf=context.getConfiguration();
            String keywords=conf.get("keywords");
            String[] key_words=keywords.split(",");
            for ( String word : key_words) {
                target_words.add(word);
                System.out.println(word);
            }
        };

        protected void map(LongWritable key, Text value, Context context)
                throws java.io.IOException, InterruptedException {
            String[] items = value.toString().split(",");

            /** 手动添加list内容 */
            // target_words.add("what");
            // target_words.add("do");
            // target_words.add("to");

            for (String item : items) {

                /** 测试单词统计功能 */
                // word.set(target_words.get(1));//不手动赋值发现get第一个元素
                // 会出现数组越界--说明target_words里面是没有值的
                // context.write(word,one );


                /** 测试contains关键词统计功能 */
                if (target_words.contains(item)) {
                    System.out.println(item);
                    word.set(item);
                    context.write(word, one);
                }

            }
        }

    }

    public static class Myreduce extends
            Reducer<Text, IntWritable, Text, IntWritable> {

        protected void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }

    public static void main(String[] args) throws Exception {
        String job_name = "keywordcount";
        boolean flag = HdUtil.removeDir("/user/hadoop/out/" + job_name);
        System.out.println(flag);
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://bigdata:9000");
        conf.set("mapred.job.tracker", "bigdata:9001");
        if (args.length < 1) {
            System.out
                    .println("Usage: wordcount <input_path> <output_path> <keyword_list>");
            return;
        }
        /** 控制台进行输入 */
        Scanner scanner = new Scanner(System.in);
        String str = scanner.next();
        // String[] target_words = str.split(",");
        // for (String word : target_words) {
        // add(word.toLowerCase());
        // }

        conf.set("keywords", str);//将输入的值存入conf中，以备map取用

        /** 命令行进行输入 */
        // String[] target_words = args[0].split(",");
        // for (String word : target_words) {
        // add(word.toLowerCase());
        // }

        Job job = new Job(conf, job_name);
        job.setJarByClass(Run.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        job.setMapperClass(WordMap.class);
        job.setReducerClass(Myreduce.class);

         job.setInputFormatClass(TextInputFormat.class);
         job.setOutputFormatClass(TextOutputFormat.class);

        FileInputFormat.addInputPath(job, new Path("/user/hadoop/input/"
                + job_name + "/"));
        FileOutputFormat.setOutputPath(job, new Path("/user/hadoop/out/"
                + job_name));

        job.waitForCompletion(true);
    }

}

以上是对指定关键词进行统计的程序。
原数据文件

There,are,moments,in,life,when,you,miss,someone,so,much,that
you,just,want,to,pick,them,from,your,dreams,and,hug,them
for,real!,Dream,what,you,want,to,dream;go,where,you,want
to,go;be,what,you,want,to,be,because,you,have,only,one,life
and,one,chance,to,do,all,the,things,you,want,to,do

运行日志文件

文件夹是否存在：true
true
you,do,to,and,what
17/01/10 14:21:12 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
17/01/10 14:21:12 INFO input.FileInputFormat: Total input paths to process : 1
17/01/10 14:21:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/01/10 14:21:12 WARN snappy.LoadSnappy: Snappy native library not loaded
17/01/10 14:21:12 INFO mapred.JobClient: Running job: job_201701100106_0025
17/01/10 14:21:13 INFO mapred.JobClient:  map 0% reduce 0%
17/01/10 14:21:17 INFO mapred.JobClient:  map 100% reduce 0%
17/01/10 14:21:24 INFO mapred.JobClient:  map 100% reduce 33%
17/01/10 14:21:26 INFO mapred.JobClient:  map 100% reduce 100%
17/01/10 14:21:26 INFO mapred.JobClient: Job complete: job_201701100106_0025
17/01/10 14:21:26 INFO mapred.JobClient: Counters: 26
17/01/10 14:21:26 INFO mapred.JobClient:   Job Counters 
17/01/10 14:21:26 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=4622
17/01/10 14:21:26 INFO mapred.JobClient:     Launched reduce tasks=1
17/01/10 14:21:26 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
17/01/10 14:21:26 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
17/01/10 14:21:26 INFO mapred.JobClient:     Launched map tasks=1
17/01/10 14:21:26 INFO mapred.JobClient:     Data-local map tasks=1
17/01/10 14:21:26 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=8716
17/01/10 14:21:26 INFO mapred.JobClient:   FileSystemCounters
17/01/10 14:21:26 INFO mapred.JobClient:     FILE_BYTES_READ=190
17/01/10 14:21:26 INFO mapred.JobClient:     HDFS_BYTES_READ=416
17/01/10 14:21:26 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=116939
17/01/10 14:21:26 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=29
17/01/10 14:21:26 INFO mapred.JobClient:   Map-Reduce Framework
17/01/10 14:21:26 INFO mapred.JobClient:     Map input records=5
17/01/10 14:21:26 INFO mapred.JobClient:     Reduce shuffle bytes=190
17/01/10 14:21:26 INFO mapred.JobClient:     Spilled Records=38
17/01/10 14:21:26 INFO mapred.JobClient:     Map output bytes=146
17/01/10 14:21:26 INFO mapred.JobClient:     Total committed heap usage (bytes)=160501760
17/01/10 14:21:26 INFO mapred.JobClient:     CPU time spent (ms)=1020
17/01/10 14:21:26 INFO mapred.JobClient:     Combine input records=0
17/01/10 14:21:26 INFO mapred.JobClient:     SPLIT_RAW_BYTES=127
17/01/10 14:21:26 INFO mapred.JobClient:     Reduce input records=19
17/01/10 14:21:26 INFO mapred.JobClient:     Reduce input groups=5
17/01/10 14:21:26 INFO mapred.JobClient:     Combine output records=0
17/01/10 14:21:26 INFO mapred.JobClient:     Physical memory (bytes) snapshot=248950784
17/01/10 14:21:26 INFO mapred.JobClient:     Reduce output records=5
17/01/10 14:21:26 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=3875409920
17/01/10 14:21:26 INFO mapred.JobClient:     Map output records=19

输出结果文件

and 2
do  2
to  6
what    2
you 7

本博客参考了 数据手艺人的博客
http://www.cnblogs.com/zhengrunjian/p/4536572.html

LongfeiZhou
关注
专栏目录
MapReduce出参要一致，context.write
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
03-07 1884
1 2 end
实例讲解hadoop中的map/reduce查询(python语言实现)
wenyusuran的专栏
05-15 849
条件，假设你已经装好了hadoop集群，配好了hdfs并可以正常运行。 $hadoop dfs -ls /data/dw/explorer Found 1 items drwxrwxrwx     - rsync supergroup                    0 2011-11-30 01:06 /data/dw/explorer/20111129 $
hadoop入门级总结二：Map/Reduce
Forever-守望
07-09 4698
在上一篇博客：hadoop入门级总结一：HDFS中，简单的介绍了hadoop分布式文件系统HDFS的整体框架及文件写入读出机制。接下来，简要的总结一下hadoop的另外一大关键技术之一分布式计算框架：Map/Reduce。一、Map/Reduce是什么：Map/Reduce是在2004年谷歌的一篇论文中提出大数据并行编程框架，由两个基本的步骤Map(映射)和Reduce(化简)组成，Map/Red
MapReduce传入参数
玉儿小跟班
07-08 589
在main()中进行参数传入，Jobconf直接进行set即可，示例传入字符串类型setString() public static void main(String[] args) throws Exception{ JobConf conf = new JobConf(); conf.setString("pt","20210708"); } 在Map或Reduce获取传入的参数，context可以获取当前作业的很多信息，直接getJobconf即可 @Override pub
MapReduce基础开发之四参数传递
医疗影像检索
06-29 5734
Map和Reduce函数是在各节点进行，如果要在MapReduce数据加工中使用共同参数，要如何传参呢？方法有二： 1、Configuration类的set和get的方法读取xml/txt文件设置或自己配置，再通过Map和Reduce函数的Context来获取； 2、基于org.apache.hadoop.io.DefaultStringifier类的Store函数和Load函数，通过
hadoop中map到reduce的过程详解
mm_bit的博客
11-09 9186
对于Hadoop的MapReduce执行机制，主要分为两部分来处理数据，mapper和reducer阶段，这两个阶段中间有一个非常重要的shuffle过程，这个过程其实是mapreduce的核心部分，因为优化过程主要就是从shuffle处下手。系统将map输出作为输入传给reducer的过程（同时会排序）成为shuffle。shuffle是MapReduce的“心脏”，是奇迹发生的地方。 现就m
最高气温 map reduce hadoop 实例
06-20
【标题】：“最高气温 map reduce hadoop 实例” 在大数据处理领域，Hadoop是一个不可或缺的开源框架，它专为分布式存储和处理大量数据而设计。本实例将介绍如何使用Hadoop MapReduce解决一个实际问题——找出给定...
hadoop-map-reduce-demo
05-17
本篇将通过一个名为“hadoop-map-reduce-demo”的示例项目，深入探讨MapReduce的工作原理以及如何在Java环境中实现它。 一、Hadoop MapReduce简介 Hadoop MapReduce是Apache Hadoop框架的一部分，主要用于处理和...
MAP/REDUCE-map-reduce详解
yc_hen的博客
02-11 1263
MapReduce是什么？ Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。 这个定义里面有着这些关键词: 一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海量数据集。 MapReduce做什么？ MapReduce擅...
分布式计算框架Map/reduce
m0_62295920的博客
02-09 1324
简介: MapReduce是一个基于集群的高性能并行计算平台,MapReduce是一个并行计算与运行的软件框架,MapReduce是一个并行程序设计模型与方法.特点: ①分布可靠,对数据集的操作分发给集群中的多个节点实现可靠性,每个节点周期性返回它完成的任务和最新的状态 ②封装了实现细节，基于框架API编程，面向业务展开分布式编码 ③提供跨语言编程的能力 MapReduce的主要功能: 1.1数据划分和计算任务调度 1.2数据/代码互相定位 1.3系统优化 1.4出错检测和恢复 MapR
关于MapReduce传参数
qq_31795811的博客
11-29 1119
1.利用Configuration如果要传的参数为字符串，则利用conf.set()，在map或者reduce中用conf.get()即可。 如果要传一个hashmap或者arraylist等集合类，可以使用toString方法，然后在取得的时候通过字符串处理将其还原出来。 2.利用Stringifier如果要传的参数为一个map对象，则可以用DefaultStringifier.set()方法，取
关于mapreduce中context.write同一对象不同值是否会覆盖问题的了解
花言简
06-09 1478
在写mapreduce代码时，有时context.write()同一对象（对象的值会改变），会造成覆盖的问题吗？我们了解ArrayList在内存中，对象也在内存中，ArrayList存储的是对对象地址的引用，不停更改值后add到ArrayList中，那么所有的值都被覆盖，因为地址都是同一个。但context.write()同一对象(值不同)时，不会出现这种情况，因为它直接被序列化存储了，不会被覆盖...
Axis2 不能传递Map等复杂数据类型解决方案 .
hck341204的专栏
08-01 198
一.用CXF进行服务端发布,Axis2 XMLBean方式生成客户端,这种方式安全不太好处理 二.将所有的复杂类型转换为自定义对象和对象数组，如原本返回List 修改为返回Person[] Map转换为MyObject[] ,包含两个字符串类型属性的自定义类型(MyObject)的数组，然后用XMLBean方式生成客户端 这个是我在项目中使用的方案 三.使用AXIO...
INFO mapred.JobClient: map 0% reduce 0%
weixin_34384557的博客
03-25 523
运行MapReduce程序时打印到下面的一句就卡住不动了INFO mapred.JobClient: map 100% reduce 0%但是运行其他的程序都正确，最后发现是这一个MapReduce作业写错了。Mapper<Text,Text,Text,Text>和map(Object key, Text value, Context context)，key的类...
hadoop运行计算pi或running job卡住或 map 0% reduce 0%
空空说技术的博客
04-15 4647
1.出现MapReduce任务运行到running job卡住 一：如下异常： Starting Job 16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:8032 16/06/30 01:15:35...
解决hadoop抛出的Task process exit with nonzero status of 134异常
phoenixdsf的专栏
01-09 896
转载请注明出处，谢谢： http://jackiee-cn.iteye.com/blog/1192526 问题： hadoop安装完毕后，拿着hadoop的示例程序，尝试在单机环境下运行，先修改/etc/profile文件，增加如下内容： export JAVA_HOME=/opt/jdk1.6.0_29 export HADOOP_HOME=/opt/hadoop-0.20.203
MapReduce向Map函数传递参数: Configuration类
Hebe
03-13 3264
今天写MapReduce程序遇到一些问题，就是需要生成一个参数并将这个参数的值传递给MapReduce函数，但是不知道如何实现，于是找到了一些参考网站成功实现了，关键点就在于Configuration参数设置于获取以及我的实现是基于新的MapReduce的api实现的。 [java] view plain copy   Configurat
java map value为null_JAVA8 Collectors.toMap value为null报错
weixin_32821251的博客
02-27 415
2018年11月7日 17:59:27 该bug貌似在java9中修复,欢迎补充2019年3月19日 17:59:11 查看java11的toMap方法后,发现并没有修改任何实现Caused by: java.lang.NullPointerExceptionjava.util.HashMap.merge(HashMap.java:1224)java.util.stream.Collectors....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值