Hive命令行运行SQL将数据保存到本地如何去除日志信息

1.场景分析

先有需求需要查询hive数仓数据并将结果保存到本地，但是在操作过程中总会有日志信息和表头信息一起保存到本地，不符合业务需要，那如何才能解决该问题呢？
废话不多少，直接上代码介绍：

2.问题解决

2.1 提高hive日志级别

#1、进入hive安装路径的conf目录下;
#2、创建log4j.properties；
#3、把以下内容写入到log4j.properties，并保存退出；
# 以下是把日志等级设置为WARN; 还可以设置INFO,DEBUG,可以按自己的要求进行相关的设置；
log4j.rootLogger=WARN,CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n

2.2 hive命令行设置不打印表头以及WARN日志处理

#!/bin/bash
sql="
#设置不打印表头
set hive.cli.print.header=false;
show tables;
"
#hive 命令行 -S配置时静默输出的意思，实测没啥用，还是需要单独处理
hive  -S -e "$qsql" >  test.txt
#去除warn信息
#将输出的文件test.txt带有org.apache.hadoop.hive关键字的行全部删除，此处可根据自己的信息自行配置
sed -i '/org.apache.hadoop.hive/d' test.txt