Hadoop下将大量小文件生成一个sequenceFile文件

1）遇到的问题，因为是在集群上运行，代码中String seqFsUrl = "hdfs://localhost:9000/user/mjiang/target-seq/sdfgz.seq";的localhost错误，

于是老是出现连接不上的问题，（Retrying connect to server: localhost/127.0.0.1:8020. Already tried 0 time(s).）

所以运行程序时出现连接不上Hadoop的问题时，考虑是不是程序写错了。

2）sequenceFile中虽然是按文件名（或其他任何值）为键，文件内容为值来存储的。但用SequenceFileAsTextInputFormat来读取时，键值还是会被读到文件的第一行

没分析源码，不清楚原因

3）sequenceFile可以处理.gz文件（没有实验出不行，按说.gz文件是不可以分块存储的？？？逻辑上还是一个）

1. import java.io.BufferedInputStream;  
2. import java.io.FileInputStream;  
3. import java.io.IOException;  
4. import java.io.InputStream;  
5. import java.io.File;  
6. import java.net.URI;  
7.   
8. import org.apache.Hadoop.conf.Configuration;  
9. import org.apache.Hadoop.fs.FileSystem;  
10. import org.apache.Hadoop.fs.Path;  
11. import org.apache.Hadoop.io.IOUtils;  
12. import org.apache.Hadoop.io.NullWritable;  
13. import org.apache.Hadoop.io.SequenceFile;  
14. import org.apache.Hadoop.io.Text;  
15.   
16. public class sequeneceFile{  
17.       
18.     public static void main(String[] args) throws IOException {  
19.           
20.         //String seqFsUrl = "hdfs://localhost:9000/user/mjiang/target-seq/sdfgz.seq";   
21.         String seqFsUrl = "user/mjiang/target-seq/sdfgz.seq";  
22.   
23.         Configuration conf = new Configuration();  
24.         //conf.set("fs.default.name", "hdfs://venus:9000");   
25.         //conf.set("Hadoop.job.user", "mjiang");   
26.         //conf.set("mapred.job.tracker", "venus:9001");   
27.   
28.         FileSystem fs = FileSystem.get(URI.create(seqFsUrl),conf);  
29.   
30.         Path seqPath = new Path(seqFsUrl);  
31.   
32.         //Text key = new Text();   
33.   
34.         Text value = new Text();  
35.   
36.         String filesPath = "/home/mjiang/java/eclipse/Hadoop/sequenceFile/data/sdfgz/";  
37.   
38.         File gzFilesDir = new File(filesPath);  
39.   
40.         String[] gzFiles = gzFilesDir.list();  
41.           
42.         int filesLen=gzFiles.length;  
43.           
44.         SequenceFile.Writer writer = null;  
45.           
46.         try {//返回一个SequenceFile.Writer实例 需要数据流和path对象 将数据写入了path对象   
47.               
48.                       
49.             writer = SequenceFile.createWriter(fs, conf, seqPath,NullWritable.class, value.getClass());  
50.               
51.             //for (int i=0;i<2;i++){   
52.                       
53.             while (filesLen>0){  
54.               
55.                 File gzFile = new File(filesPath+gzFiles[filesLen-1]);  
56.               
57.                 InputStream in = new BufferedInputStream(new FileInputStream(gzFile));  
58.               
59.                 long len = gzFile.length();  
60.               
61.                 byte[] buff = new byte[(int)len];     
62.   
63.                 if ((len = in.read(buff))!= -1) {  
64.                   
65.                     value.set(buff);  
66.                   
67.                     writer.append(NullWritable.get(), value);//将每条记录追加到SequenceFile.Writer实例的末尾      
68.   
69.                 }  
70.                   
71.                 //process   
72.                   
73.                 System.out.println(gzFiles[filesLen-1]);  
74.               
75.                 //key.clear();   
76.               
77.                 value.clear();  
78.                   
79.                 IOUtils.closeStream(in);  
80.                   
81.                 filesLen--;//!!   
82.               
83.             }  
84.             //filesLen = 2; }   
85.         } finally {  
86.   
87.             IOUtils.closeStream(writer);  
88.   
89.         }  
90.     }  
91. }