将jar包上传到Hadoop服务器并执行jar包的方法--参数不对应导致报错output directory already exists

最新推荐文章于 2021-06-30 18:22:07 发布
最新推荐文章于 2021-06-30 18:22:07 发布
阅读量2.8k 收藏
点赞数 3
分类专栏： Hadoop 文章标签： Hadoop Hadoop运行jar包 参数问题 将jar包上传到Hadoop服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Scorpius8928/article/details/36875583
版权
当尝试在Hadoop服务器上运行jar包时，遇到'FileAlreadyExistsException'错误，原因是参数配置错误，将input目录误设为output。正确步骤包括：上传jar包到服务器，删除现有output目录，创建input目录并上传输入文件，最后使用'hadoop jar'命令运行，注意避免在命令中指定类名，以防止参数冲突。
摘要由CSDN通过智能技术生成
 ERROR security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.mapred.FileAlreadyExistsException:Output directory hdfs://。。。。/user/root/input already exists
是由于参数不对应引起的，即，讲input文件夹对应到output参数上了。正确的执行jar包的方法为：

1.通过crt把自己的打包好的工程上传到hadoop服务器上。
最低0.47元/天 解锁文章
Scorpius8928
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop基础----hadoop实战(四)-----myeclipse开发MapReduce---myeclipse搭建hadoop开发环境并运行wordcount
直到世界的尽头
09-18 9201
我们在上一章已经尝试了在在hadoop中运行MapReduce。hadoop基础----hadoop实战(三)-----hadoop运行MapReduce---对单词进行统计--经典的自带例子wordcount其实hadoop学习可以分成2部分，一部分是hadoop的运维性能优化，一部分就是hadoop开发----写MapReduce。本章我们尝试正常的开发流程----用myeclipse写wor
Hadoop运行Jar文件时Output错误
weixin_30897079的博客
04-07 463
当第二次运行Jar程序时，出现Output文件已存在的Exception： Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/gavin/output already exists ...
hadoop jar 执行错误
汤小萌的博客
11-15 4295
我们知道打jar包的时候是有两种方式，第一种是直接打成jar,另一种是打成Runnable jar 这两种方式在使用hadoop jar 的时候是不一样的， 如果是直接打成jar，就是那种文件非常小的那种方式： 那么运行的方法是： hadoop jar mr1.jar com.thp.bigdata.wcdemo.WordcountDriver /wordcount/input /wordcoun...
利用Ant构建Hadoop高效开发环境
jessezhang1981的专栏
10-23 2638
最近Hadoop的研究中，都是利用Mockito来模拟数据进行，下一个阶段需要在Hadoop服务器上做大量的运行进行验证，同时也要为正式使用做准备。   今天考虑使用Ant来搭建一个Hadoop的开发和调试环境，不使用hadoop自带的插件。 思路如下： 1、  利用Ant在开发机器上将代码编译、打包，最终得到可执行的jar包。 2、  利用Ant的SSH属性，将jar包传到hadoop
jar包在Hadoop集群上测试(MapReduce)
栗筝i的博客
07-20 3821
本片使用MapReduce——统计输出给定的文本文档每一个单词出现的总次数的案例进行，jar包在集群上测试 1、添加打包插件依赖 <build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.2</vers.
idea如何打jar包上传到hdfs进行测试
东城庞太师
01-11 823
点开idea右侧的Maven Project，选择当前模块，选择Lifecycle，然后双击package，此时等待10秒钟左右。 现在去模块下面，target，maven-archiver下面找到jar包 然后上传进行测试即可！ ...
hadoop遇到Output directory hdfs://iflytek01:9000/test/output already exists
qq_41621174的博客
10-30 2670
hadoop遇到Output directory hdfs://iflytek01:9000/test/output already exists的解决方案 问题描述： [root@iflytek01 ~]# hadoop jar /datas/wordcount02.jar TestReduce.WordCount /test/hdfs02.txt /test/output/ 19/10/30 ...
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/D:/program-master/data/output already exists
06-06
这个错误是因为你运行的 MapReduce 作业的输出目录已经存在了，而 Hadoop 默认是不允许覆盖已存在的输出目录的。要解决这个问题，可以在运行 MapReduce 作业之前先删除输出目录，或者给输出目录指定一个新的路径。...
Hadoop第一个程序wordcount命令运行jar包报错Usage: wordcount <in> <out>
qq_39306369的博客
05-09 8691
第一次使用命令运行jar包使用Hadoop，然后报错。网上百度了好多都是在eclipse里面的解决方案，我是着实头大。 环境 IDEA centos 7 hadoop 2.7.7 jdk1.8.0 报错 代码那些我就不贴了，网上很多。 先说一下，Hadoop1.x和Hadoop2.x的命令有所不同，Hadoop1.x命令是hadoop fs…，Hadoop2.x进入Hadoop目录，然后命令为bin/hdfs dfs …。 首先我是使用命令 hadoop jar word_count_class/wordC
java运行所需jar包，hadoop-2.8.4
11-29
在Windows下eclipse运行java程序，报错原因是没有添加正确的库，这是hadoop-2.8.4 所需的jar包。  在Windows的eclipse运行java程序，调试无报错，打包成jar，上传到linux虚拟机（CentOS 64位），Hadoop2.8.4上进行分布式运算。
FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output09 already exists
u012516914的专栏
07-22 6918
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output0
【Mapreduce】从代码上解决Output directory already exists错误，避免每次调试都要手动删除输出文件夹
热门推荐
编程记录，亲测有效
01-28 3万+
Mapreduce调试很蛋疼的，它不会覆盖上一次输出的结果，如果发现输出文件夹已经存在，比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output，它会直接给你报如下错误： Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output director
解决output directory already exists
weixin_45019417的博客
06-30 3457
解决output directory already exists的问题 在eclipse里面运行Hadoop，报错文件已经存在 package myMapReduce; import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.HashMap;
hadoop 常用缺少包错误
wolvesqun的专栏
09-29 2万+
package wc; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritabl
解决window下linux虚拟机使用Hadoop出现ERROR security.UserGroupInformation: PriviledgedActionException 0700错误
qq_41409535的博客
11-14 618
在用eclipse进行hadoop排序操作时出现报错 ERRORsecurity.UserGroupInformation:PriviledgedActionExceptionas:hpcause:java.io.IOException:Failedtosetpermissionsofpath:\tmp\hadoop-**\mapred\staging\**-5671835...
【Mapreduce】从代码上解决Output directory already exists错误
我壮着胆子再问一遍冬雪枫花
03-10 3755
Mapreduce调试很蛋疼的，它不会覆盖上一次输出的结果，如果发现输出文件夹已经存在，比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output，它会直接给你报如下错误： [plain] view plain copy print?Exception&nbsp;in&nbsp;thread&nbsp;“main”&nbsp;org.apache.hado...
hadoop jar包_打包jar包 + 上传至Hadoop
weixin_39624461的博客
11-28 588
hadoop@master:~/mymr/wordcount$ javac WordCount.java hadoop@master:~/mymr/wordcount$ vim WordCount.java hadoop@master:~/mymr/wordcount$ ls WordCount.class WordCount.java WordCount$WordCountMapper....
编写hadoop程序，并打包jar到hadoop集群运行
最新发布
06-11
2. 接下来，您需要将您的JAR文件上传到Hadoop集群。您可以使用命令行工具（例如scp）或使用Hadoop提供的工具（例如hadoop fs -put）将文件上传到HDFS。 3. 在上传JAR文件之后，您需要通过Hadoop命令行或Web界面提交...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值