Hive3.1.2 shell 打印大量日志问题

最新推荐文章于 2024-05-23 10:01:52 发布
最新推荐文章于 2024-05-23 10:01:52 发布
阅读量7.6k 收藏 35
点赞数 28
分类专栏： hive 文章标签： hive shell 大量日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/young_0609/article/details/122620852
版权

在hive-3.1.x版本中，使用hive shell时，会发现在查询命令中夹杂大量的日志信息，严重干扰查询结果显示，特别是强迫症患者，不能忍受。通过修改conf下的日志文件，会发现不起任何作用。

解决办法：

1.在 Hive 安装目录的 conf 目录下创建出 log4j.properties 日志配置文件，以WARN 级别为例：

2.添加如下内容：

log4j.rootLogger=WARN, CA
log4j.appender.CA=org.apache.log4j.ConsoleAppender
log4j.appender.CA.layout=org.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n

重启hive

GOD_WAR
关注
  • 28
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
专栏目录
Hive 3.1.3客户端打印大量日志问题解决
shangjg3的博客
08-04 414
在hive的conf目录下新建。
Hive3.1.2编译源码
05-20
使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高...
Hive命令行运行SQL将数据保存到本地如何去除日志信息
Brother_ning的博客
01-13 684
hive命令行查询数据保存到本地如何不打印任何（warn/info/error等）日志信息
启动Hive，在命令行有大量INFO信息，但是能正常运行
最新发布
weixin_40571180的博客
05-23 410
并且source一下：source /etc/profile.d/my_env.sh。把图1 /etc/profile.d/my_env.sh 中Flink所需注释掉。Flink 配置HADOOP_CLASSPATH 影响Hive的日志打印。即把bin/hive 中的 358行左右的代码换下位置。
Hive3.1.x版本命令行一直输出日志问题
manshan6084的博客
04-04 426
在hive-3.1.x版本中，启动hive命令行或者进行查询时，发现会夹杂大量的日志信息，通过修改conf下的日志文件，发现不起作用。Hive 安装目录的 conf 目录下创建 log4j.properties 日志配置文件。重新启动发现没有多余的日志信息产生。
hive客户端屏蔽日志输出
爱折腾的小土豆的博客
06-30 1076
问题描述： 在hive3中，这shell客户端端执行HQL命令，终端会输出大量的info日志和HQL查询出来的结果；以下是把日志等级设置为WARN;还可以设置INFO,DEBUG,可以按自己的要求进行相关的设置；4、再次在终端输入hive，执行HQL命令，只会输出告警的信息和HQL输出的结果；3、把以下内容写入到log4j.properties，并保存退出；1、进入hive安装路径的conf目录下;2、创建log4j.properties；
hadoop 3.x大数据集群搭建系列11- 配置Hive metastore及hive-server2
只是甲的博客
12-08 1053
hadoop 大数据平台搭建 hive 元数据服务 hiveserver2 服务 dbeaver连接 hive
解决使用hive启动打印大量INFO日志问题
Knight
02-22 5115
报错原因 由于hbase和hive不匹配 hbase2.3.4(最新的)和hive3.1.2 解决方案 hbase版本换低一点2.0.5 查看效果 没装hbase的时候 安装hbase2.3.4启动 安装hbase2.0.5启动
Shell执行脚本并输出日志文件的方法
xiaoweids的博客
06-28 6735
本文主要介绍了Shell执行脚本并输出日志文件的方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下shell 错误输出重定向到标准输出1>和&1的意思就是将标准错误也输出到标准输出当中。下面通过一个例子来展示2>&1有什么作用：123cat。
shell命令执行hive脚本（hive交互，hive的shell编程）
weixin_30587927的博客
01-19 3315
Hive执行方式 Hive的hql命令执行方式有三种： 1、CLI 方式直接执行 2、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”） 3、作为独立文件，通过shell调用 hive –f或hive –i执行执行 方式1 键入“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并可以...
hive3.1.2+mysql驱动.zip
01-05
大数据
apache-hive-3.1.2-bin.tar.gz
08-30
兼容spark3.0.0的hive包
hive3.1.2编译.doc
08-24
hive对应spark3.x编译
使用shell脚本执行hive查询并将结果输出到本地文件
紫枫丶羽的博客
07-20 3938
简单实用的脚本分享。 关于hive命令的3种调用方式: （1）hive –f file.sql（适合多语句） （2）hive-e 'sql语句'（适合短语句） （3）hive（直接使用hive交互式模式） 方式一： 1.准备hive查询语句 //创建文本文件 touch read.sql //加入要执行的hive查询语句，例： show databases; show tables; use default; select * from test01; 2.执行并查看结果 ...
cdh hive metastore 日志
yy的博客
07-27 954
web上查看 文件位置 /var/log/hive/hadoop-cmf-hive-HIVEMETASTORE-sbider-dev-01.log.out
运行hive语句时有很多info怎么消掉
qq_56520755的博客
06-02 2109
每次启动hive和执行hive sql命令时都打印了很多没用的INFO日志，看起来很繁琐，那么该怎么消除掉这些没用的日志消息
Ambari Hive 无法正常查询 问题分析处理
weixin_33890526的博客
03-07 741
1.今天遇到一个错误，在连接到hive之后，无法执行任何命令。$ beeline -u "jdbc:hive2://hostname.domain.cn:10000/default;principal=hive/_HOST@domain.com;" Connecting to jdbc:hive2://hostname.domain.cn:10000/default;principal=hive/...
hive3.1.2安装指南
06-09
以下是在 CentOS 7 上安装 Hive 3.1.2 的步骤： 1. 安装 Java JDK Hive 需要运行在 Java 环境中，因此需要先安装 Java JDK。 ```bash sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载并解压 Hive 在 Apache Hive 的官网 https://hive.apache.org/downloads.html 下载 Hive 3.1.2 的压缩包，并解压到指定的目录。 ```bash # 下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz # 解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz sudo mv apache-hive-3.1.2-bin /usr/local/hive ``` 3. 配置环境变量 编辑 /etc/profile 文件，添加以下内容： ```bash export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin ``` 保存并退出，执行以下命令使环境变量生效： ```bash source /etc/profile ``` 4. 配置 Hive 在 $HIVE_HOME/conf 目录下，将 hive-env.sh.template 文件复制为 hive-env.sh，并修改其中的 JAVA_HOME 变量指向 Java JDK 的安装路径。 ```bash cp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh vi $HIVE_HOME/conf/hive-env.sh # 修改为 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk ``` 5. 配置 Hadoop 将 Hadoop 的配置文件 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 复制到 $HIVE_HOME/conf 目录下。 ```bash cp $HADOOP_HOME/etc/hadoop/core-site.xml $HIVE_HOME/conf/ cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HIVE_HOME/conf/ cp $HADOOP_HOME/etc/hadoop/mapred-site.xml $HIVE_HOME/conf/ cp $HADOOP_HOME/etc/hadoop/yarn-site.xml $HIVE_HOME/conf/ ``` 6. 配置元数据库 Hive 需要一个元数据库来存储它的元数据。在本地安装 Derby 数据库作为 Hive 的元数据库。 ```bash # 下载 Derby 数据库 wget https://mirrors.tuna.tsinghua.edu.cn/apache/db/derby/db-derby-10.15.2.0/db-derby-10.15.2.0-bin.tar.gz # 解压 tar -zxvf db-derby-10.15.2.0-bin.tar.gz sudo mv db-derby-10.15.2.0-bin /usr/local/derby # 配置环境变量 echo 'export DERBY_HOME=/usr/local/derby' >> /etc/profile echo 'export PATH=$PATH:$DERBY_HOME/bin' >> /etc/profile source /etc/profile # 创建元数据库 mkdir -p /usr/local/derby/data derby/bin/startNetworkServer & $HIVE_HOME/bin/schematool -dbType derby -initSchema ``` 7. 启动 Hive 执行以下命令启动 Hive： ```bash hive ``` 如果一切顺利，就可以看到 Hive 的命令行界面了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值