WordCount MapReduce调试

最新推荐文章于 2020-03-18 17:37:27 发布
最新推荐文章于 2020-03-18 17:37:27 发布
阅读量302 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 2.6.5 WordCount mapreduce Output directory
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyiliang03/article/details/53954995
版权
本文记录了使用Hadoop 2.6.5进行WordCount MapReduce程序的调试过程，包括创建输入目录、错误排查（如输出目录已存在）以及最终成功运行并查看输出结果的情况。
摘要由CSDN通过智能技术生成

版本: hadoop 2.6.5

第一次参考别人的内容写hadoop的mapreduce程序，花了两天时间调试，有点慢，好在调通，反复研究也学到不少东西。



[hadoop@master ~]$ cd file
[hadoop@master file]$ ls
file1.txt  file2.txt

[hadoop@master ~]$ hadoop fs -mkdir /user
[hadoop@master ~]$ hadoop fs -mkdir /user/hadoop
[hadoop@master ~]$ hadoop fs -mkdir /user/hadoop/wc_input
[hadoop@master ~]$ hadoop fs -put /home/hadoop/file/ /user/hadoop/wc_input
[hadoop@master ~]$ hadoop fs -ls hdfs://master:9000/user/hadoop/wc_input
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2016-12-31 12:15 hdfs://master:9000/user/hadoop/wc_input/file
[hadoop@master ~]$ hadoop fs -ls hdfs://master:9000/user/hadoop/wc_input/file
Found 2 items
-rw-r--r--   2 hadoop supergroup         18 2016-12-31 12:15 hdfs://master:9000/user/hadoop/wc_input/file/file1.txt
-rw-r--r--   2 hadoop supergroup         17 2016-12-31 12:15 hdfs://master:9000/user/hadoop/wc_input/file/file2.txt


--这里不需要输入类名（把输入路径当成输出了），花了好长时间研究
[hadoop@master ~]$ hadoop jar hadoop.jar com.yu.hadoop.WordCount wc_input/file wc_output
16/12/31 12:17:47 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://master:9000/user/hadoop/wc_input/file already exists
        at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
        at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:267)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:140)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1297)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1294)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1294)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1315)
        at com.yu.hadoop.WordCount.main(WordCount.java:65)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)


--把类名去掉，正常运行
因为MANIFEST.MF里面已经有配置
Manifest-Version: 1.0
Main-Class: com.yu.hadoop.WordCount


[hadoop@master ~]$ hadoop jar hadoop.jar wc_input/file wc_output1
16/12/31 12:18:57 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
16/12/31 12:18:58 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/12/31 12:19:04 INFO input.FileInputFormat: Total input paths to process : 2
16/12/31 12:19:04 INFO mapreduce.JobSubmitter: number of splits:2
16/12/31 12:19:05 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1483155278430_0013
16/12/31 12:19:06 INFO impl.YarnClientImpl: Submitted application application_1483155278430_0013
16/12/31 12:19:06 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1483155278430_0013/
16/12/31 12:19:06 INFO mapreduce.Job: Running job: job_1483155278430_0013
16/12/31 12:19:36 INFO mapreduce.Job: Job job_1483155278430_0013 running in uber mode : false
16/12/31 12:19:36 INFO mapreduce.Job:  map 0% reduce 0%
16/12/31 12:20:22 INFO mapreduce.Job:  map 100% reduce 0%
16/12/31 12:20:42 INFO mapreduce.Job:  map 100% reduce 100%
16/12/31 12:20:43 INFO mapreduce.Job: Job job_1483155278430_0013 completed successfully
16/12/31 12:20:44 INFO mapreduce.Job: Counters: 49
        File System Counters
                FILE: Number of bytes read=77
                FILE: Number of bytes written=322253
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=273
                HDFS: Number of bytes written=30
                HDFS: Number of read operations=9
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
        Job Counters 
                Launched map tasks=2
                Launched reduce tasks=1
                Data-local map tasks=2
                Total time spent by all maps in occupied slots (ms)=89921
                Total time spent by all reduces in occupied slots (ms)=15506
                Total time spent by all map tasks (ms)=89921
                Total time spent by all reduce tasks (ms)=15506
                Total vcore-milliseconds taken by all map tasks=89921
                Total vcore-milliseconds taken by all reduce tasks=15506
                Total megabyte-milliseconds taken by all map tasks=92079104
                Total megabyte-milliseconds taken by all reduce tasks=15878144
        Map-Reduce Framework
                Map input records=2
                Map output records=6
                Map output bytes=59
                Map output materialized bytes=83
                Input split bytes=238
                Combine input records=0
                Combine output records=0
                Reduce input groups=4
                Reduce shuffle bytes=83
                Reduce input records=6
                Reduce output records=4
                Spilled Records=12
                Shuffled Maps =2
                Failed Shuffles=0
                Merged Map outputs=2
                GC time elapsed (ms)=730
                CPU time spent (ms)=3270
                Physical memory (bytes) snapshot=460414976
                Virtual memory (bytes) snapshot=6309380096
                Total committed heap usage (bytes)=283058176
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=35
        File Output Format Counters 
                Bytes Written=30


[hadoop@master ~]$ hadoop fs -ls /user/hadoop/wc_output1
Found 2 items
-rw-r--r--   2 hadoop supergroup          0 2016-12-31 12:20 /user/hadoop/wc_output1/_SUCCESS
-rw-r--r--   2 hadoop supergroup         30 2016-12-31 12:20 /user/hadoop/wc_output1/part-r-00000
[hadoop@master ~]$ hadoop fs -cat /user/hadoop/wc_output1/_SUCCESS
[hadoop@master ~]$ hadoop fs -cat  /user/hadoop/wc_output1/part-r-00000
and     1
hadoop  2
hello   2
java    1


--再次执行wc_output1已经存在，在代码加了一些判断，存在就覆盖
[hadoop@master ~]$ hadoop jar hadoop.jar wc_input/file wc_output1
16/12/31 12:44:35 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://master:9000/user/hadoop/wc_output1 already exists
        at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
        at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:267)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:140)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1297)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1294)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1692)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1294)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1315)
        at com.yu.hadoop.WordCount.main(WordCount.java:65)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)



--原始代码如下

package com.yu.hadoop;


import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class WordCount {
    public static class WordCountMap extends Mapper<LongWritable, Text, Text, IntWritable> {
        private final IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();
            StringTokenizer token = new StringTokenizer(line);
            while (token.hasMoreTokens()) {
                word.set(token.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class WordCountReduce extends Reducer<Text, IntWritable, Text, IntWritable> {
        public void reduce(Text key, Iterable<IntWritable> values,
                           Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }

    @SuppressWarnings("deprecation")
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = new Job(conf);
        job.setJarByClass(WordCount.class);
        job.setJobName("wordcount");
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        job.setMapperClass(WordCountMap.class);
        job.setReducerClass(WordCountReduce.class);
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
       Path path = new Path(args[1]);// 取第1个表示输出目录参数（第0个参数是输入目录）
        FileSystem fileSystem = path.getFileSystem(conf);// 根据path找到这个文件
        if (fileSystem.exists(path)) {
            fileSystem.delete(path, true);
        }
       FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        job.waitForCompletion(true);
    }
}

本文参考：http://www.cnblogs.com/quchunhui/p/5421727.html

逸林小驿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【MapReduce】作业调试
pengpengsays
08-27 354
作业调试 History Server开启 因为yarn集群重启之后，作业的历史运行日志和信息就被清理掉了，对于定位历史任务的错误信息很不友好，所以首先开启History Server用于保存所有作业的历史信息。 首先编辑yarn-site.xml文件，开启yarn的日志聚合功能。 cd $HADOOP_HOME/etc/hadoop vim yarn-site.xml 添加的配置如下： <property> <name>yarn.log-aggregation-
MapReduce编程模式——WordCount程序详解
weixin_44319333的博客
04-24 576
首先介绍一下Hadoop的四大组件： - HDFS：分布式存储系统 - MapReduce：分布式计算系统 - YARN：hadoop的资源调度系统 - Common：以上三大组件的底层支撑组件，主要提供工具包和RPC框架等 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 其核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的...
mapreduce调试
y0908105023的专栏
11-09 1337
调试mapreduce与调试hadoop源码不相同，调试hadoop的namenode和一下job可以通过下面这些配置： HADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y" #HADOOP_SECONDARYNAMENODE_OPTS="-agentlib:jdwp=
MapReducer程序调试技巧
weixin_30782293的博客
07-29 147
　　写过程序分布式代码的人都知道，分布式的程序是比较难以调试的，但是也不是不可以调试，对于Hadoop分布式集群来说，在其上面运行的是mapreduce程序，因此，有时候写好了mapreduce程序之后，执行结果发现跟自己想要的结果不一样，但是有没有报错，此时就很难发现问题，查找问题的方法之一就是对程序进行调试，跟踪代码的执行，找出问题的所在。那么对于Hadoop的Mapreduce是如...
mapreduce 调试
lw305080的博客
11-20 417
mapreduce 调试
MapReduce调试（无输出调试）
qq_40304825的博客
06-06 1246
一、问题 由于上一个程序，有一些行数并不会得到处理，但是通过观测代码，以及数据的人工处理，并没有发现代码有任何问题，因此希望通过调试的方式去找出原因；但是在Windows下，我们并不能直接的运行我们的程序，因此，我们需要使用apache的mrunit的单元测试工具。 二、加载配置文件 之前的环境以及相关的配置由上一个博客讲到https://blog.csdn.net/qq_40304825/...
Hadoop mapreduce实现wordcount
01-28
【标题】Hadoop MapReduce 实现 WordCount MapReduce 是 Apache Hadoop 的核心组件之一，它为大数据处理提供了一个分布式计算框架。WordCount 是 MapReduce 框架中经典的入门示例，它统计文本文件中每个单词出现的...
hadoop 框架下 mapreduce源码例子 wordcount
04-02
在Hadoop框架中，MapReduce是...通过Eclipse环境，开发者可以方便地编写、测试和调试MapReduce应用程序，为大数据分析提供了有力的工具。理解并掌握这一过程，有助于进一步深入学习和应用Hadoop及其他大数据处理技术。
hadoop mapreduce helloworld 能调试
12-14
"Hadoop MapReduce HelloWorld 能调试" 的主题意味着我们将深入理解如何设置、运行以及调试 MapReduce 任务，特别是针对入门级的 "wordcount" 示例。 MapReduce 分为两个主要阶段：Map 阶段和 Reduce 阶段。Map ...
MapReduce - WordCount案例 - 含各种部署方式源码
最新发布
06-25
- **本地提交**：在开发测试阶段，可以在本地运行MapReduce任务，方便调试。只需配置Hadoop的`local`模式，然后调用Job对象的`run()`方法即可。 ```java Job job = Job.getInstance(conf, "Word Count"); // ...
MapReduce的本地运行模式（debug调试）
汤小萌的博客
11-14 6858
（1）mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行。在本地运行mapreduce程序可以更快地运行，并且可以使用debug进行跟踪代码，方便查错，在本地运行主要是看mapreduce的业务逻辑是不是正确，如果在本地运行错误的话，那么在集群上肯定也是错的 （2）处理的数据及输出结果可以在本地文件系统，也可以在hdfs上 （3）本地模式非常便于进行业务逻辑的de...
MapReduce程序的调试的常用两种方式
Mr_YXX的博客
03-18 657
** MapReduce程序的调试 ** 1.建议MR代码中通过Log4进行调试 Logger logger = Logger(xxx.class); logger.info() 通过上述操作 输出的结果，只能查看job的信息,而Map,Reduce的信息看不到。 需要开启Yarn 历史日志 ，日志归档 2.yarn集群中如何开启历史日志，日志归档 1. 配置文件（每台服务器均配置） m...
pycharm做mapreduce任务时，单独map和reduce调试技巧
狼之鸿的博客
07-06 1692
上一节我们在使用pycharm出现不合法字符找到了解决的方法，就是配置编写环境为unix就解决了，但是日常开发中，少不了调试，在vim中开发mapreduce任务暂时没找到更好的调试方法，那么我们接下来学习下pycharm中是怎么调试的。 1.先大体了解下目录情况 2.map.py调试 对于白名单的代码应该很熟悉了，现在我们将主方法注释，用mapper_func方法调用map的函数，修改...
远程Hadoop调试——mapreduce函数调试篇
The Big Data Way
03-04 278
上一次记录了如何调试NN，JT，DT，JT，这次记录为调试mapreduce函数，和前几个应用不同，mapreduce为Child进程，不能直接通过bin/hadoop文件中开启远程调试端口，具体操作如下：   1. 选定一台调试机器，修改mapred-site.xml文件，添加如下配置： &lt;property&gt; &lt;name&gt;mapred.child...
MapReduce中的WordCount实例调试
someby的博客
04-06 538
在调试的过程中可能会遇到各种问题，自己也是第一次接触MapReduce，调试起来遇到了很多困难，现在总结一些这些问题首先要先了解一下HDFS中的常用的命令    -mkdir            在HDFS创建目录    hdfs dfs -mkdir /data    -ls               查看当前目录      hdfs dfs -ls /    -ls -R         ...
Yarn命令使用及wordcount解析
kunjian的博客
05-29 1317
前言： 前面几篇博客主要介绍了MapReduce与Yarn的架构设计及简单工作流程，本篇文章将以wordcount程序为例，简单介绍下Yarn的使用。 1.wordcount示例运行 [root@hadoop000 ~]# su - hadoop [hadoop@hadoop000 ~]$ jps 9201 SecondaryNameNode 9425 ResourceMan...
windows（64位）本地（local）用eclipse调试mapreduce程序
坚持才会胜利
03-05 1809
一，环境准备 java环境，eclipse，hadoop -2.x（windows环境下） 此处本人所用hadoop包链接：https://pan.baidu.com/s/1230HUG2HluDsP1FT-tXa-g密码：sodt（此处文件已全部替换完毕） 首先从网上下载64位winutils.exe，hadoop.dll将文件复制到hadoop / bin目录下，将lib文件中的本地库替...
MapReduce之WordCount程序详解及常见错误汇总
恐龙弟旺仔的博客
10-06 4931
前言：     在之前的笔记中，我们已经成功的关联了eclipse和hadoop，对FileSystem的使用进行了简单了解。     下面就是Hadoop中的重点MapReduce程序的开发。作为MapReduce（以下使用MR来代替）开发中的入门程序WordCount，基本是每个学习MapReduce的同学都必知必会的。有关于WordCount的概念笔者就不再赘述，网上有N多文章讲解。 ...
Hadoop 调试第一个MapReduce程序过程详细记录总结
asdfzjs的专栏
08-17 929
开发环境搭建参考     Hadoop 在Windows7操作系统下使用Eclipse来搭建Hadoop开发环境>： http://www.linuxidc.com/Linux/2014-12/111061.htm 1，程序代码如下： ​package wc; import java.io.IOException; import java.util.StringTokenizer;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值