大数据学习笔记（十八）-MRUnit

最新推荐文章于 2018-06-03 20:11:14 发布
最新推荐文章于 2018-06-03 20:11:14 发布
阅读量256 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 MRUnit MapReduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/langyw98/article/details/78982167
版权
本文介绍了在大数据MapReduce开发中，如何利用MRUnit进行本地调试，以提高调试效率和精准定位问题。通过在maven项目中添加MRUnit依赖，并编写测试类，与自定义的MapReduce类匹配，实现单元测试，进而可以方便地设置断点进行单步调试。由于MapReduce主要处理数据，因此单元测试在MapReduce程序开发中显得尤为重要。
摘要由CSDN通过智能技术生成

MapReduce是跑在集群上的，这就意味着MapReduce的作业很难被调试。当然可以采用Log输出的方式来查看，但是这样效率很低，也很难定位问题，因为要每次打包，上传，执行jar包。
所以本地Debug单步调试非常的重要，调试的方法是使用MRUnit
在maven中添加MRUnit的依赖

<dependency>
    <groupId>org.apache.mrunit</groupId>
    <artifactId>mrunit</artifactId>
    <version>1.1.0</version>
    <classifier>hadoop2</
最低0.47元/天 解锁文章
狂暴棕熊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce程序调试工具--MRUnit简介与使用
键盘上舞动的青春
09-26 4504
MRUnit简介：         当hadoop的MapReduce作业提交到集群环境中运行，对于出问题的定位比较是比较麻烦的，有时需要一遍遍的修改代码和打印出日志来排查一个很小的问题，如果数据量大的话调试起来相当耗时间。因此有必要使用良好的单元测试手段来尽早的消除明显的bug。然而做MapReduce的单元测试会有一个障碍，比如Map和Reduce一些参数对象是在运行时由hadoop框架传入
Hadoop MRUnit使用（一）
dingmu2707的博客
05-03 118
之前在写MR job的时候，由于要在云梯，或者一淘的开发集群上运行；所以处理方法是，在本地打成jar包，然后scp到客户端网关机上，然后在提交job运行。这样的问题时，有时候如果遇到一些逻辑上的问题，job跑挂了。必须在本地修改程序，然后重新打包，scp，再运行，这样比较麻烦；询问了一圈，觉得采用MRUnit在本地做好一些逻辑测试。这样可以在一定程度上提高开发效率，避免重复劳动，并且写好...
MapReduce中常用的 MRunit
kong
12-29 339
环境配置 在 Maven 中添加依赖<dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>1.1.0</version> <classifier>hadoop2</classifier> </dependency>MRUnit测试
hadoop单元调试：MRunit（maven配置pom.xml）
s646575997的博客
05-29 2027
hadoop进行单元测试时报错： Found interface org.apache.hadoop.mapreduce.TaskInputOutputContext, but class was expected 我的是因为使用maven的同时自己手动又导入了hadoop2.7.1的所有jar包，使得这里的jar包maven的pom.xml中配置的hadoop的jar包冲突了。 我的解决办法
MRUnit的那些坑
Me.Show
06-03 1232
MRUnit的那些坑 1. Maven无法成功导入org.apache.mrunit 提示： Unresolved dependency：’org.apache.mrunit:mrunit:jar….’ 原因：没有确定版本 解决方法：在&amp;lt;dependency&amp;gt;&amp;lt;/dependency&amp;gt;中间的语句块加上一行 &amp;lt;classifier...
apache-mrunit-1.1.0-hadoop2-bin.tar.gz
03-04
官网下载的Hadoop2的单元测试工具apache-mrunit-1.1.0-hadoop2-bin.tar.gz，用法跟JUnit相似，需要的朋友拿走
apache-mrunit-1.1.0-hadoop2-bin.tar
01-19
Apache MRUnit 是一个针对Hadoop MapReduce框架的单元测试工具，专为开发人员设计，用于测试MapReduce程序的各个部分，包括Mapper、Reducer以及Combiner。MRUnit 1.1.0是针对Hadoop 2.x版本的一个特定构建，确保了与...
hadoop-mrunit-0.20.2-cdh3u4.jar
01-07
用于hadoop单元测试的jar包 hadoop-mrunit-0.20.2-cdh3u4.jar
hadoop-0.21.0-mrunit.jar
03-17
hadoop-0.21.0-mrunit.jar
mrunit的问题
Context
11-12 205
《数据算法-Hadoop/Spark大数据处理技巧》读书笔记（一）——二次排序
狂暴棕熊的博客
01-26 2434
写在前面： 在做直播的时候有同学问Spark不是用Scala语言作为开发语言么，的确是的，从网上查资料的话也会看到大把大把的用Scala编写的Spark程序，但是仔细看就会发现这些用Scala写的文章绝大部分是初级内容，最常见的就是某一个API是怎么用的，很多都是拷贝粘贴的重复内容，真正深入的内容并不多见。之前看美团团队写的Spark优化相关放出的代码是用Java写的，《数据算法-Hadoop/
大数据学习笔记（九）-大数据中的压缩
狂暴棕熊的博客
12-13 2379
1.常见压缩格式： gzip，bizp2，LZO，Snappy 2.压缩技术使用原则： 缩小体积则需要更多的CPU计算量，存储数据倾向于大压缩比的压缩技术，根据实际情况选择合适的压缩技术。 3.压缩在大数据计算中的一个重要考量是压缩技术是否支持分割（split） bzip2支持，LZO创建索引后支持 4.要让Hadoop支持压缩，需要对Hadoop源码进行编译
Spark开发中遇到的问题及解决方法
狂暴棕熊的博客
01-16 2082
1.Windows下运行spark产生的Failed to locate the winutils binary in the hadoop binary path异常 解决方法： 1.下载winutils的windows版本 　　GitHub上，有人提供了winutils的windows的版本，项目地址是：https://github.com/srccodes/hadoop-co
大数据学习笔记（七）-Spark的图形化工具的使用
狂暴棕熊的博客
12-01 1992
启动Spark集群：start-all.sh 进入集群的spark-shell: spark-shell –master=spark://hadoop000:7077 进入集群的WebUI管理界面：hadoop000:8080 打开EventLog： conf下的spark-defaults.conf开启配置：spark.eventLog.enabled true spa
大数据学习笔记（十五）-大数据调度框架
狂暴棕熊的博客
12-27 1890
1.常用框架 crontab 存在的问题：单机的 Azkaban 开源的工作流框架，批处理 https://azkaban.github.io/ Oozie http://oozie.apache.org/
大数据学习笔记（十二）-SparkSQL
狂暴棕熊的博客
12-18 1809
1.数据的分类 ①非结构化数据:文本、多媒体 ②结构化数据：数据库、格式化文本 ③半结构化数据：key-value、xml、tag 2.DataFrame和RDD的区别 DataFrame是带Schema的RDD 创建DataFrame的方法：scala>val ssc = new org.apache.spark.sql.SQLContext(sc) scala>val df = ss
《数据算法-Hadoop/Spark大数据处理技巧》读书笔记（四）——移动平均
狂暴棕熊的博客
02-01 1692
移动平均：对时序序列按周期取其值的平均值，这种运算被称为移动平均。典型例子是求股票的n天内的平均值。 移动平均的关键是如何求这个平均值，可以使用Queue来实现。 public class MovingAverageDriver { public static void main(String[] args){ SparkConf conf = new SparkC
大数据学习笔记（十）-Hive中的Storage format
狂暴棕熊的博客
12-13 1353
1.Storage format 行存储：SEQUENCEFILE、TEXTFILE 列存储：RCFILE、ORC、PARQUET、AVRO 2.行存储VS列存储 行式存储： ①一行数据一定在一个block里 ②一行数据类型混杂，不容易获得很好的压缩比 ③不能支持快速查询列式存储： ①一行数据不一定在一个block里 ②查询时能够避免读取不必要的列 ③每一列存储数据类型相同，可以
使用MRUnit、Mockito和PowerMock进行Hadoop MapReduce作业单元测试
"这篇教程详细介绍了如何对Hadoop MapReduce作业进行单元测试，重点使用了MRUnit、Mockito...通过学习和应用这些技术，开发团队可以更好地实践测试驱动开发，确保MapReduce作业在大规模分布式环境中的稳定性和正确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值