hive中的绣花模型_Hive Error: buildSupportsSnappy()Z

Error: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

问题描述

报错的map , reduce 在log中均显示形如 java.lang.Exception: java.lang.UnsatisfiedLinkError:

Error: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

的error信息, 而且连续三天出问题的机器均在210与195身上, 通过回顾近期的集群Datanode操作, 这两台机器均进行了reload操作。 因此怀疑是在上线过程中有些环境变量被修改导致MapReduce在执行过程中无法access native libraries。

Ensure that LD_LIBRARY_PATH and JAVA_LIBRARY_PATH contains the native directory path having the libsnappy.so** files.

Ensure that LD_LIBRARY_PATH and JAVA_LIBRARY path have been exported in the SPARK environment(spark-env.sh).

然后在hive的配置目录中

core-site.xml

mapred-site.xml 查找要对应的 key value配置。

yarn.app.mapreduce.am.admin.user.env

LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native:/mnt/disk1/cloudera/parcels/CDH/lib/hadoop/lib/native