MapReduce job 如何实现全局共享数据

MapReduce job 如何实现全局共享数据

背景：在写MR的时候，经常会遇到这样一种情况，如何将参数传递给map或reduce已进行下一步的处理。这时候就涉及到了全局变量。但是在MapReduce中直接使用代码的全局变量是不可行的，因为Map和Reduced在集群上都是独立运行的，并不共享同一个java虚拟机资源，那怎么办呢？有三种方法可以实现

（1）读写HDFS文件（不常用）

• 优点：支持读写，比较直观
  
• 缺点：使用I/O，占用系统资源

注：在mapreduce框架中，map task 和 redcue task 都是运行子啊集群的节点上，因此两者都可以通过读取HDFS中的同一个文件来实现全局共享数据。具体是利用hadoop的java API来完成。需要注意的是多个map或reduce的写操作会产生冲突，覆盖原有数据。

（2）配置Job属性

• 优点：简单，消耗资源少
  
• 缺点：不能共享大量数据

注：在MapReduce的执行过程中，由于task可读取Job的属性，因此可以在任务启动之初通过Configuration类中的set(String name, String value)方法将少量简单的数据封装到Job的属性中，然后在task中利用get(String name)方法获取封装到Job属性中的全局数据。

（3）使用DistributedCache

• 优点：每个Job共享文件只在启动之后复制一次，且适用于大量的共享数据
  
• 缺点：只支持读，不支持写

注：DistributedCache是MapReduce为应用提供缓存文件的只读工具，可以缓存文本文件，压缩文件和jar文件等。使用时，用户可以在作业配置时使用本地文件或HDFS文件的URL来将其设置成共享缓存文件。在Job启动之前，MapReduce框架会将可能需要的缓存文件复制到执行task的节点上。

---

下面就对（2）（3）方法进行介绍

（2）配置Job属性

在主函数中调用set函数设置参数，如下

Configuration conf = getConf();
conf.set("MaxValue", 100);

在map或者reduce函数中通过context来获取当前Job的配置，获取参数，如下

Configuration conf = context.getConfiguration();
String maxValue = conf.get("MaxValue") 

（3）使用DistributedCache

在主函数中

Configuration conf = getConf();
Text maxValue = new Text("100");
DefaultStringifier.store(conf, maxValue, "MaxValue");

这样Text对象maxValue就以Maxvalue作为key存储在conf对象中了，然后在map后reduce函数中调用load函数来获取对象

Configuration conf = context.getConfiguration();
Text out = DefaultStringifier.load(conf, "MaxValue", Text.class);

注：需要传递的对象必须先实现序列化的接口，hadoop的序列化是通过Writable接口来实现的。

参考：

1、 https://note.youdao.com/share/?id=c0742ed1005880a85075a615abddf474&type=note#/

2、https://blog.csdn.net/u012587561/article/details/47850317