大数据学习笔记（十八）-MRUnit

最新推荐文章于 2019-12-09 11:11:34 发布

狂暴棕熊

最新推荐文章于 2019-12-09 11:11:34 发布

阅读量258

点赞数

分类专栏：大数据文章标签：大数据 MRUnit MapReduce

本文链接：https://blog.csdn.net/langyw98/article/details/78982167

版权

本文介绍了在大数据MapReduce开发中，如何利用MRUnit进行本地调试，以提高调试效率和精准定位问题。通过在maven项目中添加MRUnit依赖，并编写测试类，与自定义的MapReduce类匹配，实现单元测试，进而可以方便地设置断点进行单步调试。由于MapReduce主要处理数据，因此单元测试在MapReduce程序开发中显得尤为重要。

摘要由CSDN通过智能技术生成

MapReduce是跑在集群上的，这就意味着MapReduce的作业很难被调试。当然可以采用Log输出的方式来查看，但是这样效率很低，也很难定位问题，因为要每次打包，上传，执行jar包。
所以本地Debug单步调试非常的重要，调试的方法是使用MRUnit
在maven中添加MRUnit的依赖

<dependency>
    <groupId>org.apache.mrunit</groupId>
    <artifactId>mrunit</artifactId>
    <version>1.1.0</version>
    <classifier>hadoop2</

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

狂暴棕熊

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

MapReduce程序调试工具--MRUnit简介与使用

键盘上舞动的青春

09-26

4504

MRUnit简介：当hadoop的MapReduce作业提交到集群环境中运行，对于出问题的定位比较是比较麻烦的，有时需要一遍遍的修改代码和打印出日志来排查一个很小的问题，如果数据量大的话调试起来相当耗时间。因此有必要使用良好的单元测试手段来尽早的消除明显的bug。然而做MapReduce的单元测试会有一个障碍，比如Map和Reduce一些参数对象是在运行时由hadoop框架传入

Hadoop MRUnit使用（一）

dingmu2707的博客

05-03

119

之前在写MR job的时候，由于要在云梯，或者一淘的开发集群上运行；所以处理方法是，在本地打成jar包，然后scp到客户端网关机上，然后在提交job运行。这样的问题时，有时候如果遇到一些逻辑上的问题，job跑挂了。必须在本地修改程序，然后重新打包，scp，再运行，这样比较麻烦；询问了一圈，觉得采用MRUnit在本地做好一些逻辑测试。这样可以在一定程度上提高开发效率，避免重复劳动，并且写好...

参与评论您还未登录，请先登录后发表或查看评论

MapReduce中常用的 MRunit

kong

12-29

340

环境配置在 Maven 中添加依赖<dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>1.1.0</version> <classifier>hadoop2</classifier> </dependency>MRUnit测试

hadoop单元调试：MRunit（maven配置pom.xml）

s646575997的博客

05-29

2027

hadoop进行单元测试时报错： Found interface org.apache.hadoop.mapreduce.TaskInputOutputContext, but class was expected 我的是因为使用maven的同时自己手动又导入了hadoop2.7.1的所有jar包，使得这里的jar包maven的pom.xml中配置的hadoop的jar包冲突了。我的解决办法

MRUnit的那些坑

Me.Show

06-03

1233

MRUnit的那些坑 1. Maven无法成功导入org.apache.mrunit 提示： Unresolved dependency：’org.apache.mrunit:mrunit:jar….’ 原因：没有确定版本解决方法：在&lt;dependency&gt;&lt;/dependency&gt;中间的语句块加上一行 &lt;classifier...

大数据学习笔记

李旭的博客

12-09

308

1、Zookeeper用于集群主备切换。 2、YARN让集群具备更好的扩展性。 3、Spark没有存储能力。 4、Spark的Master负责集群的资源管理，Slave用于执行计算任务。 5、Hadoop从2.x开始，把存储和计算分离开来，形成两个相对独立的子集群：HDFS和YARN，MapReduce依附于YARN来运行。 6、YARN可以为符合YARN编程接口需求的集群提供调度服...

大数据学习笔记1000条

勇往直前的专栏

12-02

444

大数据学习笔记500条【第一弹】，记得收藏！

yuhun001的博客

05-25

711

笔记汇总 1. Zookeeper用于集群主备切换。 2. YARN让集群具备更好的扩展性。 3. Spark没有存储能力。 4. Spark的Master负责集群的资源管理，Slave用于执行计算任务。 5. Hadoop从2.x开始，把存储和计算分离开来，形成两个相对独立的子集群：HDFS和YARN，MapReduce依附于YARN来运行。 6. YARN可以为符合YARN编程...

apache-mrunit-1.1.0-hadoop2-bin.tar.gz

03-04

官网下载的Hadoop2的单元测试工具apache-mrunit-1.1.0-hadoop2-bin.tar.gz，用法跟JUnit相似，需要的朋友拿走

apache-mrunit-1.1.0-hadoop2-bin.tar

01-19

Apache MRUnit 是一个针对Hadoop MapReduce框架的单元测试工具，专为开发人员设计，用于测试MapReduce程序的各个部分，包括Mapper、Reducer以及Combiner。MRUnit 1.1.0是针对Hadoop 2.x版本的一个特定构建，确保了与...

hadoop-mrunit-0.20.2-cdh3u4.jar

01-07

用于hadoop单元测试的jar包 hadoop-mrunit-0.20.2-cdh3u4.jar

hadoop-0.21.0-mrunit.jar

03-17

hadoop-0.21.0-mrunit.jar

《数据算法-Hadoop/Spark大数据处理技巧》读书笔记（一）——二次排序

狂暴棕熊的博客

01-26

2437

写在前面：在做直播的时候有同学问Spark不是用Scala语言作为开发语言么，的确是的，从网上查资料的话也会看到大把大把的用Scala编写的Spark程序，但是仔细看就会发现这些用Scala写的文章绝大部分是初级内容，最常见的就是某一个API是怎么用的，很多都是拷贝粘贴的重复内容，真正深入的内容并不多见。之前看美团团队写的Spark优化相关放出的代码是用Java写的，《数据算法-Hadoop/

大数据学习笔记（九）-大数据中的压缩

狂暴棕熊的博客

12-13

2431

1.常见压缩格式： gzip，bizp2，LZO，Snappy 2.压缩技术使用原则：缩小体积则需要更多的CPU计算量，存储数据倾向于大压缩比的压缩技术，根据实际情况选择合适的压缩技术。 3.压缩在大数据计算中的一个重要考量是压缩技术是否支持分割（split） bzip2支持，LZO创建索引后支持 4.要让Hadoop支持压缩，需要对Hadoop源码进行编译

Spark开发中遇到的问题及解决方法

狂暴棕熊的博客

01-16

2084

1.Windows下运行spark产生的Failed to locate the winutils binary in the hadoop binary path异常解决方法： 1.下载winutils的windows版本　　GitHub上，有人提供了winutils的windows的版本，项目地址是：https://github.com/srccodes/hadoop-co

大数据学习笔记（七）-Spark的图形化工具的使用

狂暴棕熊的博客

12-01

1993

启动Spark集群：start-all.sh 进入集群的spark-shell: spark-shell –master=spark://hadoop000:7077 进入集群的WebUI管理界面：hadoop000:8080 打开EventLog： conf下的spark-defaults.conf开启配置：spark.eventLog.enabled true spa

大数据学习笔记（十五）-大数据调度框架

狂暴棕熊的博客

12-27

1890

1.常用框架 crontab 存在的问题：单机的 Azkaban 开源的工作流框架，批处理 https://azkaban.github.io/ Oozie http://oozie.apache.org/

大数据学习笔记（十二）-SparkSQL

狂暴棕熊的博客

12-18

1828

1.数据的分类 ①非结构化数据:文本、多媒体 ②结构化数据：数据库、格式化文本 ③半结构化数据：key-value、xml、tag 2.DataFrame和RDD的区别 DataFrame是带Schema的RDD 创建DataFrame的方法：scala>val ssc = new org.apache.spark.sql.SQLContext(sc) scala>val df = ss

使用与增强MRUnit：Hadoop MapReduce单元测试实践

"本文档主要介绍了如何使用和增强Hadoop的单元测试框架MRUnit，以便更有效地进行MapReduce程序的测试。MRUnit提供了多种Driver来针对Map、Reduce以及完整的MapReduce流程进行测试，使得开发者能够在早期阶段发现并...