hive -e/Hive -f 出现WARN问题

hive -e 是执行指定SQL，-f 是执行指定HQL文件。

hive -e / -f 会出现WRN：

WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html#release for an explanation.

问题：

因为CDH上弃用了Hive Cli，但因为一些企业任在使用，他们使用Cli连接其他程序容易出错，所以会警告提示。

只在Cli上查询是不会有WARN的，但如果将Cli的结果跟其他程序连接时，就会出现这样情况。

原因是CDH上运行的Hive加载了Spark的jar包到它的CLASSPATH下：

# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" && !("$HIVE_SKIP_SPARK_ASSEMBLY" = "true") ]]
then
    sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
    CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi

有时需要重定向输出结果时，文件末尾会带这两个WARN，对数据处理不太友好

解决办法：

1. 使用 grep -v 过滤掉WARN

hive -e "show databases; exit;" | grep -v "WARN" > /liujinhe/bak/databases/database

2. 直接从Hive导出到数据

insert overwrite local directory '/liujinhe/bak/databases/database/table'
 row format delimited fields terminated by '\t'
 select * from test.words;

3. 设置 HIVE_SKIP_SPARK_ASSEMBLY=true

CDH支持了HIVE_SKIP_SPARK_ASSEMBLY参数设置，所以可以设置这个参数来关闭WARN提示。

echo "export HIVE_SKIP_SPARK_ASSEMBLY=true" >> /etc/profile
source /etc/profile

参考资料