HDFS通过java接口实现读、写、删除文件、添加目录等案例

通过URL方式读取HDFS上的文件

package cn.homework;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class URLcar {
static{
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); //要让Java程序能够识别Hadoop的hdfs URL，需要采用的方法是FsUrlStreamHandlerFactory实例调用URL中的setURLStreamHandlerFactory方法。
}
public static void main(String[] args) throws Exception {
InputStream in = null;
String url = args[0];//用第一个参数作为url
in = new URL(url).openStream();//打开一个输入流
IOUtils.copyBytes(in, System.out, 1024, true);//调用hadoop提供的工具类将输入流读到控制台
}

}

注意：这里使用url的方式读取hdfs上的文件，因此，参数要写成url即  hdfs://master:9000/...     而非uri形式。

Java访问接口——FileSystem来读取HDFS上的文件

有时无法在应用中设置URLStreamHandlarFactory实例，如不受你控制的第三方组件如果已经声明了一个URLStreamHandlerFactory实例，你将无法再使用上述方法从Hadoop中读取数据，这种情况下，需要使用FileSystem API来打开一个文件的输入流。

package cn.homework;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class FileStreamCat {
public static void main(String[] args) throws Exception {
String uri = args[0];//这里用第一个参数作为uri的值
Configuration con = new Configuration();//加载配置文件，并放在堆空间中
FileSystem fs = FileSystem.get(URI.create(uri), con);//用FileSystem的get方法得到HDFS文件系统的实例对象。
InputStream in = null;
in = fs.open(new Path(uri));
IOUtils.copyBytes(in, System.out, 1024, true);
}

}