Hadoop 利用FileSystem API 执行hadoop文件读写操作

 因为HDFS不同于一般的文件系统，所以Hadoop提供了强大的FileSystem API来操作HDFS.

核心类是FSDataInputStream和FSDataOutputStream

读操作：

我们用FSDataInputStream来读取HDFS中的指定文件（第一个实验），另外我们还演示了这个类的定位文件位置的能力，然后从指定位置开始读取文件（第二个实验）。

代码如下：

1. /*  
2.  */ 
3. package com.charles.hadoop.fs; 
4.  
5.  
6. import java.net.URI; 
7.  
8. import org.apache.hadoop.conf.Configuration; 
9. import org.apache.hadoop.fs.FSDataInputStream; 
10. import org.apache.hadoop.fs.FileSystem; 
11. import org.apache.hadoop.fs.Path; 
12. import org.apache.hadoop.io.IOUtils; 
13.  
14. /** 
15.  * 
16.  * Description: 查看Hadoop文件系统中的文件，利用hadoop FileSystem接口中的FSDataInputStream 
17.  * FSDataInputStream还具有流定位的能力，可以从文件的任意位置开始读取 
18.  * 
19.  * @author charles.wang 
20.  * @created May 26, 2012 12:28:49 PM 
21.  *  
22.  */ 
23. public class ReadFromHadoopFileSystem { 
24.  
25.     /** 
26.      * @param args 
27.      */ 
28.     public static void main(String[] args) throws Exception{ 
29.         // TODO Auto-generated method stub 
30.          
31.         //第一个参数传递进来的是hadoop文件系统中的某个文件的URI,以hdfs://ip 的theme开头 
32.         String uri = args[0]; 
33.         //读取hadoop文件系统的配置 
34.         Configuration conf = new Configuration(); 
35.         conf.set("hadoop.job.ugi", "hadoop-user,hadoop-user"); 
36.          
37.         //FileSystem是用户操作HDFS的核心类，它获得URI对应的HDFS文件系统 
38.         FileSystem fs = FileSystem.get(URI.create(uri),conf); 
39.         FSDataInputStream in = null; 
40.         try{ 
41.             //实验一：输出全部文件内容 
42.             System.out.println("实验一：输出全部文件内容"); 
43.             //让FileSystem打开一个uri对应的FSDataInputStream文件输入流，读取这个文件 
44.             in = fs.open( new Path(uri) ); 
45.             //用Hadoop的IOUtils工具方法来让这个文件的指定字节复制到标准输出流上 
46.             IOUtils.copyBytes(in, System.out,50,false);   
47.             System.out.println(); 
48.              
49.              
50.             //实验二:展示FSDataInputStream文件输入流的流定位能力,用seek进行定位 
51.             System.out.println("实验二:展示FSDataInputStream文件输入流的流定位能力,用seek进行定位"); 
52.              
53.             //假如我们要吧文件输出3次 
54.             //第一次输入全部内容，第二次输入从第20个字符开始的内容，第3次输出从第40个字符开始的内容 
55.             for (int i=1;i<=3;i++){ 
56.                 in.seek(0+20*(i-1)); 
57.                 System.out.println("流定位第 "+i+" 次：" ); 
58.                 IOUtils.copyBytes(in, System.out,4096,false);  
59.             } 
60.         }finally{ 
61.             IOUtils.closeStream(in); 
62.         } 
63.  
64.     } 
65.  
66. } 

我们传入的命令行参数为我们要读的HDFS文件系统中某文件的URI:

1. hdfs://192.168.129.35:9000/user/hadoop-user/textfile.txt 

最终输出结果为：

1. 实验一：输出全部文件内容 
2. This is a text file edited by charles to test the hadoop distributed file system's features. 
3.  
4. 实验二:展示FSDataInputStream文件输入流的流定位能力,用seek进行定位 
5. 流定位第 1 次： 
6. This is a text file edited by charles to test the hadoop distributed file system's features. 
7. 流定位第 2 次： 
8. edited by charles to test the hadoop distributed file system's features. 
9. 流定位第 3 次： 

 

 

写操作：

我们用FSDataOutputStream来写文件到HDFS系统中，或者说从本地文件系统中复制文件到HDFS文件系统中。其中这个本地文件系统是相对于运行这段java代码的宿主系统。

代码如下：

1. /*  
2.  */ 
3. package com.charles.hadoop.fs; 
4.  
5. import java.io.BufferedInputStream; 
6. import java.io.FileInputStream; 
7. import java.io.InputStream; 
8. import java.io.OutputStream; 
9. import java.net.URI; 
10.  
11. import org.apache.hadoop.conf.Configuration; 
12. import org.apache.hadoop.fs.FileSystem; 
13. import org.apache.hadoop.fs.Path; 
14. import org.apache.hadoop.io.IOUtils; 
15. import org.apache.hadoop.util.Progressable; 
16.  
17. /** 
18.  * 
19.  * Description: 这个类展示如何将一个文件从本地文件系统复制到 HDFS 
20.  * 
21.  * @author charles.wang 
22.  * @created May 26, 2012 1:00:39 PM 
23.  *  
24.  */ 
25. public class WriteToHadoopFileSystem { 
26.  
27.     /** 
28.      * @param args 
29.      */ 
30.     public static void main(String[] args)throws Exception{ 
31.         // TODO Auto-generated method stub 
32.          
33.         //两个参数分别是本地文件系统的的输入文件路径和HDFS中的输出文件位置 
34.         //如果这段代码最终运行在Hadoop所在的服务器上，那么本地文件系统是相对于那台服务器的本地文件系统 
35.         //如果这段代码运行在我们Windows PC上，那么本地文件系统是这台Window PC的文件系统 
36.         String localSrc = args[0]; 
37.         String dst= args[1]; 
38.          
39.         //因为本地文件系统是基于java.io包的，所以我们创建一个本地文件输入流 
40.         InputStream in = new BufferedInputStream( new FileInputStream(localSrc)); 
41.          
42.         //读取hadoop文件系统的配置 
43.         Configuration conf = new Configuration(); 
44.         conf.set("hadoop.job.ugi", "hadoop-user,hadoop-user"); 
45.          
46.          
47.         //仍然用FileSystem和HDFS打交道 
48.         //获得一个对应HDFS目标文件的文件系统
49.         FileSystem fs = FileSystem.get(URI.create(dst), conf); 
50.         //创建一个指向HDFS目标文件的输出流 
51.         OutputStream out = fs.create(new Path(dst) ); 
52.         //用IOUtils工具将文件从本地文件系统复制到HDFS目标文件中 
53.         IOUtils.copyBytes(in, out, 4096,true); 
54.          
55.         System.out.println("复制完成"); 
56.          
57.     } 
58.  
59. } 

我们传入2个命令行参数，一个是本地文件系统中被复制的文件路径，第二个要复制到的HDFS文件系统中的目标文件路径：

1. copyMe.txt
2. hdfs://192.168.129.35:9000/user/hadoop-user/copyMe.txt

我们去文件系统中去检查文件，果然文件被复制上去了：

打开这个目标文件,果然内容与预期一样：

本文转自 charles_wang888 51CTO博客，原文链接：http://blog.51cto.com/supercharles888/878921，如需转载请自行联系原作者