最近在学习Hadoop,总结两点:
1.在运行Mapreduce程序时,设置程序操作hdfs目录而不是本地目录
2.在运行Mapreduce程序时,每次运行程序前都要删除输出目录下文件名相同的文件,不然就会提示“Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:8020/output/heyu1 already exists”的错误,在网上找了半天也没找到好的解决办法,最后在看《Hadoop实战》时发现源程序里有个类FileSystem,于是尝试了一下果然成功了。
添加代码如下
//设置操作文件地址为 hdfs 的地址
FileSystem.setDefaultUri(conf, "hdfs://localhost:8020");
FileSystem fs = FileSystem.get(conf);
//如果输出目录存在则删除
fs.delete(new Path("/output/heyu1"), true);
FileOutputFormat.setOutputPath(conf, new Path("/output/heyu1"));