在Hadoop中，从MapFile文件中读取指定键值的元素

问题导读：
Configured基类的作用是什么？
Tool接口的作用是什么？
从MapFile文件中读取指定键值的元素的流程是什么？





在本示例中，我们实现了一个继承自Configured基类，并且实现了Tool接口的ReadMapfile类。这样ReadMapfile类就成为可以在Hadoop运行环境中执行的应用类。

一）准备阶段
Configured基类
Configured基类实现了Configurable接口。Configurable接口的实现使该类具有在Hadoop环境下执行时，设置/获取Hadoop各种运行上下文参数的功能。在Hadoop运行时，可以使用-conf命令行参数来指定一个本地的xml配置文件。而在没有指定-conf参数的情况下，Hadoop则采用HADOOP_INSTALL/conf中xml作为其运行的配置文件。另外，也可以在Hadoop运行时，通过其它一些命令行参数为Hadoop运行提供单个的参数，这些参数构成了Hadoop执行的上下文--运行环境。比如：
Hadoop fs -conf /home/lianpeixun/hadoop-local.xml -ls
//指定一个本地配置文件作为Hadoop运行的配置文件
Hadoop fs -ls
//使用Hadoop安装目录下的conf中的配置文件作为其运行的环境参数
Hadoop fs -fs file:/// -ls
//指定特定的属性fs.default.name为file:///

Configured类实现了Configurable接口的getConf(),setConf()方法：
//获取Hadoop的运行上下文参数信息
public Configuration getConf();
//将Hadoop运行上下文参数信息传递给类
public void setConf(Configuration conf);

Tool接口（运行带参数的mapreduce，详细可参考如何编写运行带参数输入输出路径hadoop程序）
Tool接口是一个支持对一般的命令行选项进行处理的工具接口。Tool接口是所有Map-Reduce类型的工具和应用的标准实现接口。这些工具和应用将标准命令行选项交给ToolRunner.run来执行，从而使工具和应用只需关注它自己的参数就可以。实现了Tool接口的Map-Reduce类型的工具和应用中，简化了应用在运行时命令行参数信息的处理，使应用只需关注自身的参数。

二）流程
1）我们首先验证应用的参数个数是否正确，参数存在错误时，给出如何使用该应用的参数提示信息。

2）参数验证正确后，我们得到Hadoop运行环境下的文件系统(FileSystem)、要读取的MapFile的路径path(Path)和要读取的键的对象key(Writable)。

3）接着我们使用MapFileOutputFormat.getReaders(FileSystem fs,Path path,Configuration conf)静态方法得到要读取MapFile文件的输出数组readers(MapFile.Reader[])。readers是MapFile文件包含的所有输出的一个数组，这些数组中的每一个Reader记录了MapFile中的部分数据，数据在Reader中按照数据对的键(Key)的Hash值进行分布。

4）为了得到键值key所在的readers数组中的哪一个Reader对象中，我们需要构建一个HashPartitioner类的对象partitioner。HashPartitioner类是一个利用键(key)/值(value)的哈希(object.hashCode())为数据进行分区的类。在创建了对象partitioner后，我们可以根据要查找的键key,得到键如果存在时，应该所在分区的索引--readers输出数组的下标。得到数组的下标后，我们就可以得到要查找的键Key所在的输出reader。

5）我们使用reader.get(key,value)在reader中得到键key是否存在，如果不存在则退出。如果存在可通过reader.next()方法得到该reader()中所有的内容，并通过与键key的对比就可以得到键为key的所有的信息。

三）代码

1. /***
   
2. * 读取Mapfile文件
   
3. * @author Administrator
   
4. *
   
5. */
   
6. public class ReadMapfile extends Configured implements Tool {
   
7. 
   
8.     @Override
   
9.     public int run(String[] args) throws Exception {
   
10.         //判断args参数个数
    
11.         if(args.length!=2){
    
12.             System.err.print("Usage:");
    
13.             ToolRunner.printGenericCommandUsage(System.err);
    
14.             
    
15.             return -1;
    
16.         }
    
17.         FileSystem fs=FileSystem.get(this.getConf());
    
18.         Path path=new Path(args[1]);
    
19.         IntWritable key=new IntWritable(Integer.parseInt(args[0]));
    
20.         
    
21.         Reader[] readers=MapFileOutputFormat.getReaders(fs, path, this.getConf());
    
22.         //得到指定值所在的reader
    
23.         HashPartitioner<IntWritable,Text> partitioner=new HashPartitioner<IntWritable,Text>();
    
24.         Text value=new Text();
    
25.         int index=partitioner.getPartition(key, value, readers.length);
    
26.         Reader reader=readers[index];
    
27.         //检查是否存在，如果不存在就算了，不再麻烦 了。
    
28.         Writable entry=reader.get(key, value);
    
29.         if(entry==null){
    
30.             return -1;
    
31.         }
    
32.         //如果存在，通过遍历的方式得到键为Key的就要得到所有的
    
33.         IntWritable nextKey=new IntWritable();
    
34.         do{
    
35.             //
    
36.             System.out.println(value.toString());
    
37.         }while(reader.next(nextKey, value) && key.equals(nextKey));
    
38.         
    
39.         return 0;
    
40.     }
    
41. 
    
42.     /**
    
43.      * @param args
    
44.      * @throws Exception
    
45.      */
    
46.     public static void main(String[] args) throws Exception {
    
47.         int nExitCode=ToolRunner.run(new ReadMapfile(),args);
    
48.         
    
49.         System.exit(nExitCode);
    
50.     }
    
51. }

复制代码

关键代码如下：

1. String keyStr="122";
   
2.                         Configuration conf=new Configuration();
   
3.                         conf.set("fs.default.name", "hdfs://myhadoop:9000");
   
4.                         FileSystem fs=FileSystem.get(conf);
   
5.                         Path path=new Path("/mapFile");
   
6.                         Reader[] readers=MapFileOutputFormat.getReaders(fs, path, conf);  
   
7.                         //得到指定值所在的reader   
   
8.                         HashPartitioner<IntWritable,Text> partitioner=new HashPartitioner<IntWritable,Text>();  
   
9.                         Text value=new Text();
   
10.                         IntWritable key=new IntWritable(Integer.parseInt(keyStr));
    
11.                     int index=partitioner.getPartition(key, value, readers.length);   
    
12.             System.out.println(index);
    
13.                     Reader reader=readers[index];  
    
14.             Writable w=reader.get(new Text(keyStr), new Text());
    
15.             System.out.println(w.toString());

复制代码