hadoop报错之bug3---hadoop的output目录已经存在

一:bug截图

Output directory hdfs://server2:9000/wordcount/input already exists

 

二:原因分析

1:写了同一个参数

 

 

 

2:还有可能就是该目录已经存在

三:解决方案

output目录必须不存在的,如果存在,需要删掉

1:使用hadoop命令行删除

hadoop fs -rm -r output

2:使用图形化删除

好的,以下是操作的指令: 6. 查看input中的文件列表: ``` $ hdfs dfs -ls /user/用户名/input ``` 该命令会列出HDFS中“/user/用户名/input”目录下的所有文件文件夹。 7. 删除本地系统的input文件夹: ``` $ rm -r input ``` 该命令会删除本地系统中的“input”文件夹。 8. 分布式运行MapReduce作业: ``` $ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep /user/用户名/input /user/用户名/output 'hello' ``` 该命令会在Hadoop集群中分布式运行MapReduce作业,对“/user/用户名/input”目录中包含“hello”的文件进行查找,并将结果输出到“/user/用户名/output目录中。 9. 查看位于HDFS中的output文件夹中的输出结果: ``` $ hdfs dfs -cat /user/用户名/output/* ``` 该命令会将HDFS中“/user/用户名/output目录下的所有文件内容输出到终端中。 10. 将分布式运行结果取回到本地的output文件夹: ``` $ hdfs dfs -get /user/用户名/output output ``` 该命令会将HDFS中“/user/用户名/output目录下的所有文件取回到本地的“output文件夹中。 11. 查看本地的output文件夹结果: ``` $ cat output/* ``` 该命令会将“output文件夹中的所有文件内容输出到终端中。 12. 删除分布式文件系统中的output文件夹: ``` $ hdfs dfs -rm -r /user/用户名/output ``` 该命令会删除HDFS中“/user/用户名/output目录及其所有内容。 13. 关闭Hadoop: ``` $ stop-all.sh ``` 该命令会停止Hadoop集群中所有节点的进程。 通过以上操作,我们可以在HDFS中查看文件列表、删除本地文件夹、分布式运行MapReduce作业、查看输出结果、将结果取回到本地、删除分布式文件系统中的文件夹,以及关闭Hadoop集群。这些操作都是Hadoop中常用的基本操作,对于Hadoop的使用和应用具有重要的意义。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值