java hdfs hadoop2_顶hadoop2.2 java API 操作 HDFS(1)

导入hadoop需要的jar包，本文采用Maven方式管理项目

junit

junit

4.7

test

org.apache.hadoop

hadoop-minicluster

2.2.0

org.apache.hadoop

hadoop-client

2.2.0

org.apache.hadoop

hadoop-assemblies

2.2.0

org.apache.hadoop

hadoop-maven-plugins

2.2.0

org.apache.hadoop

hadoop-common

2.2.0

org.apache.hadoop

hadoop-hdfs

2.2.0

java的方式操作HDFS:

import java.io.FileOutputStream;

import java.io.InputStream;

import java.io.OutputStream;

import .URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;

import org.apache.hadoop.io.IOUtils;

public class MkdirHdfs {

private static final String HADOOP_URL="hdfs://hadoop:9000/user";

public static void main(String[] args)throws Exception {

URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

final URL url=new URL(HADOOP_URL);

final InputStream in = url.openStream();

OutputStream out=new FileOutputStream("hello.txt");

IOUtils.copyBytes(in, out, 1024,true);

out.close();

in.close();

}

}

以上操作复杂，但是大家不要担心，因为hadoop为大家提供了简单的API了