将HDFS上的文件拷贝到本地的实现

这里需要进行一点额外的工作才能使得URL识别hdfs的uri。我们要使用java.net.URL的 setURLStreamHandlerFactory()方法设置URLStreamHandlerFactory，这里需要传递一个 FsUrlStreamHandlerFactory。这个操作对一个jvm只能使用一次，我们可以在静态块中调用。

publicclass FIleSystemCat {

/**
* @param args
* @throws IOException
*/static {
//这句是为了让程序识别hdfs协议而进行的设置
//setURLStreamHandlerFactory：设置url流处理器工厂
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
publicstaticvoid main(String[] args) throws IOException {
// TODO Auto-generated method stub

String path1="hdfs://localhost:9000/user/hadoop/photo/DSC01283.JPG";
String path2="/home/hadoop/qiu.jpg";
InputStream in=null;
OutputStream out=null;
in=new URL(path1).openStream();
out=new FileOutputStream(path2);

IOUtils.copyBytes(in, out, 4096, false);




}

}
在某些情况下设置URLStreamHandlerFactory的方式并不一定回生效。在这种情况下，需要用FileSystem API来打开一个文件的输入流。 
文件的位置是使用Hadoop Path呈现在Hadoop中的，与java.io中的不一样。 
有两种方式获取FileSystem的实例： 
public static FileSystem get(Configuration conf) throws IOException 
public static FileSystem get(URI uri, Configuration conf) throws IOException 
Configuration封装了client或者server的配置，这些配置从classpath中读取，比如被classpath指向的conf/core-site.xml文件. 
第一个方法从默认位置（conf/core-site.xml）读取配置，第二个方法根据传入的uri查找适合的配置文件，若找不到则返回使用第一个方法，即从默认位置读取。 

在获得FileSystem实例之后，我们可以调用open()方法来打开输入流： 
public FSDataInputStream open(Path f) throws IOException 
public abstract FSDataInputStream open(Path f, int bufferSize) throws IOException 
第一个方法的参数f是文件位置，第二个方法的bufferSize就是输入流的缓冲大小。 
下面的代码是使用FileSystem打开输入流的示例：

public class FileSystemDoubleCat { 
public static void main(String[] args) throws Exception { 
String uri = args[0]; 
Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(URI.create(uri), conf); 
FSDataInputStream in = null; 
try { 
in = fs.open(new Path(uri)); 
IOUtils.copyBytes(in, System.out, 4096, false); 
in.seek(0); // go back to the start of the file 
IOUtils.copyBytes(in, System.out, 4096, false); 
} finally { 
IOUtils.closeStream(in); 
} 
} 
} 

 

转载于:https://www.cnblogs.com/dlutxm/archive/2011/08/19/2145645.html