Hadoop读取文件的方法，及其错误解决

public class HeadWord {
	public static void main(String[] args) throws Exception {
		System.setProperty("hadoop.home.dir", "D:/hadoop-2.6.0/hadoop-2.6.0");
		String uri = args[0];
		
		// 获取本地配置信息core-site.xml
		Configuration conf = new Configuration();	
		
		// 获取文件系统实例，core-site.xml中应当指定为HDFS文件系统
		FileSystem fs = FileSystem.get(conf);
		InputStream in = null;
		try {
			in = fs.open(new Path(uri));
			System.out.println(in);
			IOUtils.copyBytes(in, System.out, 4096, false);
		} finally {
			IOUtils.closeStream(in);
		}
	}
}

对于这段读取文件内容的代码,运行之后会报 Wrong FS: hdfs://192.168.10.128:9000/a.txt, expected: file:///  这样的一个错误（当然我们是给他传定了参数的）

对于这个问题有三种解决办法（可以参考一下）

解决方法1：

public class HeadWord {
	public static void main(String[] args) throws Exception {
		System.setProperty("hadoop.home.dir", "D:/hadoop-2.6.0/hadoop-2.6.0");
		String uri = args[0];
		URI uriPath = URI.create(uri);
		// 获取本地配置信息core-site.xml
		Configuration conf = new Configuration();	
		
		// 获取文件系统实例，core-site.xml中应当指定为HDFS文件系统
		FileSystem fs = FileSystem.get(uriPath, conf);
		InputStream in = null;
		try {
			in = fs.open(new Path(uri));
			System.out.println(in);
			IOUtils.copyBytes(in, System.out, 4096, false);
		} finally {
			IOUtils.closeStream(in);
		}
	}
}

1.在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码：

1  Path clear_path  =   new  Path(args[ 1 ]);
2  FileSystem fs  =  FileSystem.get(conf);
3  fs.delete(clear_path);

通过试验发现，在分布式hadoop集群上运行这段代码是不会出现错误的，然而在本机伪分布式环境下运行这段代码就会出现前面提到的错误信息。有两种方法来解决这个问题。

解决方法2：
将上述代码稍作修改，利用clear_path来获取FileSystem，改为如下代码片段：

Path clear_path  =   new  Path(args[ 1 ]);
FileSystem fs  =  clear_path.getFileSystem(conf);
fs.delete(clear_path);

这样运行起来就不会报错。

解决方案3：
更为彻底的解决方法需要将hadoop目录中的conf文件夹中的hdfs-site.xml与core-site.xml复制到你的项目的目录之下，这样就不会再报这种错误。