Hadoop SequcenceFile 处理多个小文件

利用sequenceFile打包多个小文件，MapFile是sequenceFile的排序形式，程序如下：

 

Java代码  

1. public class testSequenceFile {  
2.   
3.     public static void main(String[] args) throws IOException{  
4.         Configuration conf = new Configuration();  
5.           
6.         FileSystem fs = FileSystem.get(conf);  
7.         FileStatus[] files = fs.listStatus(new Path(args[0]));  
8.           
9.         Text key = new Text();  
10.         Text value = new Text();  
11.         SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, new Path(args[1]),key.getClass() , value.getClass());  
12.         InputStream in = null;  
13.         byte[] buffer = null;  
14.           
15.         for(int i=0;i<files.length;i++){  
16.             key.set(files[i].getPath().getName());  
17.             in = fs.open(files[i].getPath());  
18.             buffer = new byte[(int) files[i].getLen()];  
19.             IOUtils.readFully(in, buffer, 0, buffer.length);  
20.             value.set(buffer);  
21.             IOUtils.closeStream(in);  
22.             System.out.println(key.toString()+"\n"+value.toString());  
23.             writer.append(key, value);  
24.         }     
25.           
26.         IOUtils.closeStream(writer);  
27.     }  
28. }  

 

 

 

 这里需要注意的是sequenceFile是二进制文件，cat more less 之类的命令都不能以文本形式显示顺序文件的内容，需要用到fs命令的-text选项，该选项可以查看文件的代码，检测出文件的类型并适当的转化成文本，如下图“

 

Java代码  

1. KeXie@KeXie-PC ~/hadoop-0.20.2  
2. $ hadoop fs -cat soutput  
3. SEQorg.apache.hadoop.io.Textorg.apache.hadoop.io.Text*org.apache.hadoop.io.compress.DefaultCodec▒A▒=▒▒=U▒2▒,a.txtx▒▒▒L▒,*▒▒,,M▒▒▒▒<▒A#b.txtx▒▒L▒H▒▒▒y▒\▒▒▒y▒\@6n:c.txtx▒▒+*▒▒,,M▒▒▒▒%▒▒  
4. KeXie@KeXie-PC ~/hadoop-0.20.2  
5. $ hadoop fs -text soutput  
6. a.txt   xie     chen     liang  
7. quan  
8. b.txt   chen    chen    wen  
9. an  
10. wen  
11. c.txt   mo     an  
12. an