MapReduce 判断输出路径是否存在问题

最新推荐文章于 2022-09-20 22:24:36 发布

sinat_34022298

最新推荐文章于 2022-09-20 22:24:36 发布

阅读量3.1k

点赞数 1

分类专栏： Hadoop

本文链接：https://blog.csdn.net/sinat_34022298/article/details/72899370

版权

在MapReduce编程时，为了避免'Output directory already exists'的错误，可以在程序结束时检查并删除输出路径。通过调用FileSystem类的delete()方法，传入输出路径和递归删除标志来实现。如果路径存在，它会被删除，从而确保每次运行都能创建新的输出目录。

摘要由CSDN通过智能技术生成

写MapReduce程序时，最后加一个判断当前输出路径是否存在的代码，如果输出路径存在则删除。这样可以避免出现如下错误：

Output directory hdfs://192.168.42.130:9000/output already exists

具体代码如下：

	
final static String OUTPUT_PATH = "hdfs://192.168.42.130:9000/output";   
//输出路径用字符串表示，在主类中定义，或者由主方法参数给出

Path path = new Path(OUTPUT_PATH);
    FileSystem fileSystem = path.getFileSystem(conf);     
//getFileSystem()函数功能  Return the FileSystem that owns this Path. 
	if (fileSystem.exists(new Path(OUTPUT_PATH))) {