![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
ustbxyls
这个作者很懒,什么都没留下…
展开
-
MapReduce程序通过-libjar参数指定第三方jar包,step by step 调试
hadoop 3.1.0日常开发的程序,我们都是通过Maven管理相关jar包依赖,但有时一些第三方包没有提供maven源,只能手动管理jar包。对于hadoop jar 使用第三方依赖的方式有很多:参考:https://www.cnblogs.com/yyy-blog/p/10249646.html#_label1https://www.iteye.com/blog/...原创 2019-12-20 17:22:28 · 4064 阅读 · 0 评论 -
本地ToolRunner调试MapReduce,报错org.apache.hadoop.crypto.key.KeyProviderTokenIssuer
参考: https://blog.csdn.net/qq_39625998/article/details/80356159报错org.apache.hadoop.crypto.key.KeyProviderTokenIssuer原来是版本问题,原来Hadoop版本为2.7.2,确实没有这个类。将hadoop版本升级为3.10即可正常运行。...原创 2019-12-20 17:39:17 · 3421 阅读 · 0 评论 -
MapReduce输出avro文件,报错GenericData.createDatumWriter...NoSuchMethodError
Hadoop 2.7.2<dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>1.7.7</version></dependency><...原创 2019-12-20 17:37:44 · 325 阅读 · 0 评论 -
MapReduce程序调整Map/Reduce task内存参数
参考:https://blog.csdn.net/u014665013/article/details/809230441.先看yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mbyarn.scheduler.minimum-allocation-mb:决定MapReduce使用的最小内存...原创 2019-12-20 17:24:33 · 4555 阅读 · 0 评论 -
MapReduce任务报错:Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1
问题描述: 之前写了一个读取RCFile的MapReduce任务,现在放到测试集群上报错了错误信息:Error: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.2.1at org.apache.hadoop.hive.shims.ShimL...原创 2019-11-29 20:44:37 · 11649 阅读 · 2 评论 -
Hadoop HDFS (3) JAVA訪问HDFS
如今我们来深入了解一下Hadoop的FileSystem类。这个类是用来跟Hadoop的文件系统进行交互的。尽管我们这里主要是针对HDFS。可是我们还是应该让我们的代码仅仅使用抽象类FileSystem。这样我们的代码就能够跟不论什么一个Hadoop的文件系统交互了。在写測试代码时,我们能够用本地文件系统測试,部署时使用HDFS。仅仅需配置一下,不须要改动代码了。在Hadoop 1....转载 2019-11-28 10:07:40 · 3649 阅读 · 0 评论 -
MapReduce的Avro多路输出默认输出路径踩坑
环境:hadoop 2.7.2 avro 1.7.4现象:在进行Avro多路输出的时候,有一路分支输出到了默认的outPath中了。 FileOutputFormat.setOutputPath(job, outPath);why?原来在配置多路输出路径的时候,忘记配置这一路分支的路径了。。。汗????。。。搞了很长时间。...原创 2019-11-12 14:30:33 · 233 阅读 · 0 评论 -
hadoop jar执行任务,报错 java.io.FileNotFoundException:/tmp/hadoop-unjarxxxx/...(no space left on device)
问题描述:使用hadoop jar命令执行MapReduce任务,报错如下查看大数据提交机的磁盘使用情况:df -h发现/tmp目录空间没有用满查看inode使用情况:df -i/tmp目录的inode已经用满了。。。查看/tmp目录的使用情况:发现有许多MapReduce任务提交的临时目录,可以清理掉:清理完后,再次统计,发现inode...原创 2019-10-31 10:16:00 · 8174 阅读 · 0 评论