初识hadoop--（2）通过java操作hdfs

要通过本地windows上的java代码操作远程hdfs，首先需要在windows上装个小工具：

https://github.com/steveloughran/winutils

官方提供的工具。

然后配置环境变量指向这个工具的安装路径：

HADOOP_HOME: C:\Users\lhc\myapp\hadoop-2.7.1

然后还要修改host文件（文件位置C:\Windows\System32\drivers\etc，用管理员打开），追加安装hadoop的服务器的hostname：

例如：192.168.18.229 user-HVM-domU

然后创建java工程，配置maven。jdk里的tools.jar这个要单独配置一下。

<dependencies>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-hdfs</artifactId>
		<version>2.8.1</version>
	</dependency>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-common</artifactId>
		<version>2.8.1</version>
	</dependency>
	<dependency>
		<groupId>jdk.tools</groupId>
		<artifactId>jdk.tools</artifactId>
		<version>1.8</version>
		<scope>system</scope>
		<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
	</dependency>
	</dependencies>

然后就可以写一段代码来测试了：

public static void main(String[] args) throws IOException {
		String uri = "hftp://192.168.18.229:50070/user/test/test.txt";
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(URI.create(uri), conf);
		InputStream in = null;
		try {
			in = fs.open(new Path(uri));
			IOUtils.copyBytes(in, System.out, 4096, false);
		} finally {
			IOUtils.closeStream(in);
		}
	}