Hadoop Output directory hdfs://localhost:9000/input already exists

最新推荐文章于 2023-03-26 19:57:08 发布
最新推荐文章于 2023-03-26 19:57:08 发布
阅读量5.6k 收藏 11
点赞数 5
分类专栏： Linux # Java框架 文章标签： jar java hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/D1124615130/article/details/106281123
版权

首先我的主类是放在com.test包下，
运行hadoop jar WordCount.jar WCRunner /input /output时，WCRunner应该写全类名com.test.WCRunner，但我没有，导致报错找不到主类，以为是要打jar包时指定主类，于是我在eclipse打包时指定了主类，再次运行就遇到这个错误，看了好几篇博客都不能解决这个问题。当然，/output存在确实也会报这个错误，删掉它也许也能解决。

总结：
1、删掉/output
hadoop fs -rm -r /output
2、打jar 包时不要选定主类，
运行hadoop jar jar包 主类全类名 输入路径 输出路径
即可

hadoop遇到Output directory hdfs://iflytek01:9000/test/output already exists
qq_41621174的博客
10-30 2819
hadoop遇到Output directory hdfs://iflytek01:9000/test/output already exists的解决方案 问题描述： [root@iflytek01 ~]# hadoop jar /datas/wordcount02.jar TestReduce.WordCount /test/hdfs02.txt /test/output/ 19/10/30 ...
解决output directory already exists
weixin_45019417的博客
06-30 3640
解决output directory already exists的问题 在eclipse里面运行Hadoop，报错文件已经存在 package myMapReduce; import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.HashMap;
Hadoop运行错误 - Output directory hdfs://master:9000/output already exists
qq_38789531的博客
11-06 1万+
 运行hadoop出现以下问题： [its312@master bin]$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /input /output 2018-11-06 21:31:12,192 INFO client.RMProxy: Co...
Hadoop遇到Output directory hdfs://centos01:9000/output already exists
weixin_62793466的博客
03-26 1456
执行[hadoop@centos01 ~]$ hadoop fs -rm -r /output/
Output directory hdfs://hadoop01:8020/appendresult already exists
hongchenshijie的博客
12-05 1313
报错详情: 报错原因 输出目录已经存在 解决办法 删掉存在的目录,或者更换输出目录
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/had
乾坤未定，你我皆是黑马
10-17 6434
Hadoop 运行程序时，输出目录不能存在 ./bin/hdfs dfs -rm -r output 以上命令 删除 output 文件夹
sqoop报错Output directory hdfs://mihaoyu151:9000/user/root/student already exists
qq_51903852的博客
11-23 1269
错误日志 ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://mihaoyu151:9000/user/root/student already exists [root@mihaoyu151 ~]# sqoop import \ > --connect jdbc:my
Hadoop安装教程_单机/伪分布式配置
qq_45491549的博客
08-17 1800
目录测试环境创建hadoop用户更新apt安装SSH、配置SSH无密码登陆配置Java环境安装 Hadoop3.1.3Hadoop部署方式介绍Hadoop单机配置(非分布式)Hadoop伪分布式配置运行Hadoop伪分布式实例 测试环境 Linux系统版本：ubuntukylin-20.04-pro Hadoop版本：hadoop-3.1.3 Java版本：jdk-8u162-linux-x64 创建hadoop用户 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名.
hadoop伪分布配置
qq494370的博客
03-18 1853
标题伪分布式模式 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。 1.修改配置文件 Hadoop的配置文件位于：/usr/local/hadoop/etc/hadoop/中，伪分布式需要修改2个配置文件 core-site.xml和hdfs-site.x...
Hadoop3.1.3安装教程_单机/伪分布式配置
耶耶猫猫的博客
09-27 4112
本文介绍了Hadoop3.1.3安装以及单机/伪分布式配置。
大数据平台技术之HDFS文件系统操作与编程
zjc
04-07 1333
HDFS文件系统操作与编程运行hadoop伪分布式实例目录操作文件操作 实验目的： (1)HDFS基本目录操作； (2)HDFS文件操作。 前提：系统已经进行了hadoop伪分布式配置！！！！ 执行 ./sbin/start-dfs.sh 启动 Hadoop 可以通过命令jps判断是否启动成功 若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNam...
mkdir :hdfs://localhost:9000
qq_48308055的博客
09-24 2779
当执行./bin/hdfs dfs -mkdir input， 显示/user/你的用户名，文件不存在时，可以采用下面的方法。 对于hadoop的hdfs根目录文件不存在，你需要建一个/user/你的用户名/hadoop/input结构的文件夹 命令是 ./bin/hadoop fs －mkdir －p /user/你的用户名/hadoop ./bin/hadoop fs -mkdir input ...
org.apache.hadoop.fs.FileAlreadyExistsException: Output directory hdfs://127.0.0.1:9000/user/hadoop/
shahaizimxm的专栏
08-29 9944
org.apache.hadoop.fs.FileAlreadyExistsException: Output directory hdfs://127.0.0.1:9000/user/hadoop/output already exists 解决： hdfs的output目录已经存在，使用下面的命令删除就ok hadoop@ubuntu:/usr/local/hadoop/bin$  ha
【Mapreduce】从代码上解决Output directory already exists错误，避免每次调试都要手动删除输出文件夹
热门推荐
编程记录，亲测有效
01-28 3万+
Mapreduce调试很蛋疼的，它不会覆盖上一次输出的结果，如果发现输出文件夹已经存在，比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output，它会直接给你报如下错误： Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output director
[初学hadoop]错误信息：hdfs://192.168.0.16:9000/report.bak, expected: file:///
menghuannvxia的专栏
03-24 2897
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码： 1 Path clear_path = new Path(args[1]); 2 FileSystem fs = FileSystem.get(conf); 3 fs.delete(clear_path);   通过试验发现，在分布式ha
【sqoop】使用sqoop将mysql表导入hive报错Output directory already exists
debimeng
10-04 2636
使用sqoop将mysql表导入hive报错Output directory hdfs://hadoop:9820/user/hadoop/${target_dir} already exists 场景： 使用sqoop将mysql表导入hive报错如下： ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlr...
hadoop中Java的jar包运行出错问题
echo_le的博客
09-23 2443
问题描述： [root@master local] # hadoop jar hdfstest.jar WordCount /input /output 报错：Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/output already exists 说明：output 这个文件已经存在了，只需要删除output文件就
sqoop使用以及常见问题
jeffry_ding的博客
03-13 5524
1、hdfs文件的权限问题 问题分析与解决： 根据报错信息是hdfs文件的权限问题，命令进入集群执行的用户为null，而hdfs文件所有者为hdfs。 要么以用户hdfs执行命令，要么调整hdfs文件的权限，因为我只是使用hdfs文件的其中之一，暂时考虑：以hdfs用户执行命令。 在~/.bash_profile文件增加： export HADOOP_USER_NAME=hdfs ...
Hadoop2.x异常总结
与优秀的人在一起，会使自己变得更优秀
02-08 230
问题1： 在执行bin/hdfs namenode -format格式化HDFS命令时，抛出异常，异常如下： 16/10/26 18:32:45 ERROR namenode.NameNode: Failed to start namenode. java.lang.IllegalArgumentException: URI has an authority component ...
Output directory hdfs://hadoopnn10:9000/user/hadoop/input/B.txt already exists
最新发布
05-10
这个错误提示是因为你在执行某个操作时指定的输出目录已经存在了，而...hadoop fs -rm -r -f hdfs://hadoopnn10:9000/user/hadoop/input/B.txt ``` 如果你不想覆盖已经存在的目录，可以将输出目录改为一个新的目录。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值