cdh5.7.1默认安装无法装载native lib的问题解决(cdh5.5.x好像也有这个问题)

用CDH5.7.1新装一个测试集群发现执行mapreduce时候无法装载native lib:

WARN [main] org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

具体反映在我在hive shell里面执行一个查询的时候(触发了mapreduce)，查看8088 app执行日志时候，发现日志里面打印出来了上面这个警告。

查看yarn的gateway配置信息发现LD_LIBRARY_PATH的默认值是$HADOOP_COMMON_HOME/lib/native:

于是怀疑是不是cloudera manager有BUG，环境变量$HADOOP_COMMON_HOME没有设置。于是在yarn gateway配置中修改了如下配置：

yarn.app.mapreduce.am.admin.user.env=LD_LIBRARY_PATH={{HADOOP_COMMON_HOME}}/lib/native:{{JAVA_LIBRARY_PATH}};
mapreduce.admin.user.env=LD_LIBRARY_PATH={{HADOOP_COMMON_HOME}}/lib/native:{{JAVA_LIBRARY_PATH}};

重新部署客户端配置后，在执行mapreduce,可以找到native lib了。

这个还是有必要配置的，可以优化执行性能，比如会使用native的压缩算法等等。

比如启用了ubertask优化后，会用snappy压缩结果，这时候如果找不到native lib的话，就会报错了。

源代码里面有黑科技啊：

package org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher;
中的
ContainerLaunch这个类有个方法：

@VisibleForTesting
  public static String expandEnvironment(String var,
      Path containerLogDir) {
    var = var.replace(ApplicationConstants.LOG_DIR_EXPANSION_VAR,
      containerLogDir.toString());
    var =  var.replace(ApplicationConstants.CLASS_PATH_SEPARATOR,
      File.pathSeparator);

    // replace parameter expansion marker. e.g. {{VAR}} on Windows is replaced
    // as %VAR% and on Linux replaced as "$VAR"
    if (Shell.WINDOWS) {
      var = var.replaceAll("(\\{\\{)|(\\}\\})", "%");
    } else {
      var = var.replace(ApplicationConstants.PARAMETER_EXPANSION_LEFT, "$");
      var = var.replace(ApplicationConstants.PARAMETER_EXPANSION_RIGHT, "");
    }
    return var;
  }
意思就是遇到{{HADOOP_COMMON_HOME}}这种写法会替换成$HADOOP_COMMON_HOME,而不会替换成$HADOOP_COMMON_HOME所具体指向的值。

因为我发现生成的launch_container.sh这个脚本里面其实是有export HADOOP_COMMON_HOME这个环境变量的。所以改成如上写法。