通过MapReduce使用HBase解决第三方jar包依赖的方式

通过MapReduce使用HBase解决第三方jar包依赖的方式

• 用户在使用HBase作为数据源、目标库，或者同时作为两者使用来处理数据时，需要先准备好可用的Hadoop
• 当运行 MR作业所需库中的类不是绑定在Hadoop或MapReduce框架中时，用户必须确保这些库在作业执行之前已经可用

为MR作业解决jar包依赖的方式从广义上看，可以分为静态配置和动态配置两种

静态配置

对于经常使用的库来说，最好将这些jar包安装在MapReduce的jobtracker服务的本地，可以通过下述步骤完成:

1. 把jar包复制到所有节点的常用路径中
2. 在Hadoop的/etc/hadoop/hadoop-env.sh的配置文件中，将这些jar包的完整路径写入变量HADOOP_CLASSPATH

# Extra Java CLASSPATH elements.  Automatically insert capacity-scheduler.
export HADOOP_CLASSPATH=<extra_entries>:$HADOOP_CLASSPATH

1. 重启所有jobtracker，使配置项修改生效

这个技术是纯静态的，每次增加新库都需要重启jobtracker

动态配置

在某些情况下，用户希望不同的MR作业能使用不同的库，或者在作业运行时能够更新库，可以通过下述两种方式实现MR作业第三方jar包的动态配置:

“胖”jar包

• Hadoop可以读取操作目录中/lib下的包含的所有库的jar包，用户可以利用此功能生成所谓的”胖”jar包，即把所需要的库复制到执行MR作业的jar包中
• 使用Maven编译了话，可以通过插件maven-assembly-plugin实现这种编译，同时，利用Maven的scope属性，减少不必要的jar包复制

libjars功能

• 当用户使用GenericOptionsParser创建一个MR作业时，可以得到libjar参数提供的支持
• 通过Hadoop的命令行方式提交作业时，加入-libjars参数可以添加需要的第三方jar包

• HBase的辅助类TableMapReduceUtil提供了可以帮助用户在作业中通过代码动态添加依赖的jar包和配置文件的方法:

  static void addDependencyJars(Job job) throws IOException;
  static void addDependencyJars(Configuration conf, Class ... classes)
      throws IOException;

  这个方法并不需要用户指定实际的jar包，而是直接使用Java的类加载器进行加载，有可能会找到相同的jar包
  重要的是可以在Java的CLASSPATH中访问该类，否则调用会失败，返回一个ClassNotFoundException错误

参考资料: HBase权威指南