hive如何打开日志

最新推荐文章于 2024-06-09 23:10:51 发布
最新推荐文章于 2024-06-09 23:10:51 发布
阅读量2.7k 收藏 2
点赞数
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilychen1983/article/details/80922309
版权
在默认的日志级别情况下，是不能将DEBUG信息输出的，这样一来出现的各种详细的错误信息都看不到。
我们可以通过以下两种方式修改log4j输出的日志级别，从而利用这些调试日志进行错误定位，具体做法如下：
  $ hive -- hiveconf hive.root.logger=DEBUG,console （hive启动时用该命令替代）

或者在${HIVE_HOME}/conf/hive-log4j.properties文件中找到hive.root.logger属性，并将其修改为下面的设置
hive.root.logger =DEBUG,console
乱纪元也不脱水
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive读取mysql日志_hive网站日志数据分析
weixin_31865183的博客
02-03 222
一、说在前面的话上一篇，楼主介绍了使用flume集群来模拟网站产生的日志数据收集到hdfs。但我们所采集的日志数据是不规则的，同时也包含了许多无用的日志。当需要分析一些核心指标来满足系统业务决策的时候，对日志的数据清洗在所难免，楼主本篇将介绍如何使用mapreduce程序对日志数据进行清洗，将清洗后的结构化数据存储到hive，并进行相关指标的提取。先明白几个概念：1)PV(Page View)。页...
hive读取mysql日志_基于hive的日志分析系统
weixin_34357697的博客
02-03 291
hive简介hive是一个基于hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据存储于hadoop文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用HQL(类SQL)语言对这些数据进行自动化管理和处理。我们可以把hive中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在HDFS中的。Hive经过对语句进行解析和转换，最终生成一系列基于had...
配置hive运行日志
weixin_41877582的博客
10-24 1249
Hive日志介绍
最新发布
weixin_42795092的博客
06-09 1026
Hive的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置>
CDH环境下关于Hive的部分命令(一)
大数据开发
05-30 1119
创建student表, 并声明文件分隔符’\t’ create table stu(id int, sex string) row format delimited fields terminated BY '\t'; 加载本地/run1/stu.txt 文件到stu数据库表中。 load data local inpath '/run1/stu.txt' into table stu; 如何...
Hive LLAP
堅持╅信念★
10-24 1395
文章目录1 hive llap该怎么部署2 注意事项3 llap初始化4 性能测试5 总结链接 微信公众号：苏言论 理论联系实际，畅言技术与生活。 LLAP是hive 2.0.0版本引入的新特性，hive官方称为(Live long and process)，hortonworks公司的CDH称为(low-latency analytical processing)，其实它们都是一样的，都是实现将数据预取、缓存到基于yarn运行的守护进程中，降低和减少系统IO和与HDFS DataNode的交互，具体的
基于Hive的搜狗日志分析
12-12
基于Hive的搜狗日志分析 本文档主要介绍了基于Hive的搜狗日志分析的整个过程，从数据预处理、构建数据仓库、数据分析到其他数据操作等方面进行了详细的介绍。 一、 数据预处理 数据预处理是整个日志分析的第一步...
hive2.0+开启审计日志.pdf
07-21
在Hive 2.0及更高版本中，启用Metastore审计日志是确保数据安全性与合规性的重要步骤。审计日志记录了用户对Hive Metastore的所有操作，包括元数据的创建、修改和查询等，这对于追踪系统活动、故障排查以及满足法规...
Apache Web日志Hive实验数据
12-23
该实验数据主要用于Hive进行Apache Web日志的统计分析学习使用，数据量不是大。
hive日志系统实战
01-11
hive日志系统实战
hive DEBUG
houzhizhen的专栏
04-30 1770
修改 hive-env.sh，当调试 hive server2 时，需要先执行 export HIVE_SERVER2_DEBUG=TRUE，默认不启动远程调试端口。如果不再调试则执行 unset HIVE_SERVER2_DEBUG。如果不想使用 8000，可以直接修改监听的端口。此命令监听 8000 端口，可以使用远程调试连接此 jvm。...
hive启动日志命令
东城庞太师
02-05 1219
hive启动日志命令 bin/hive --service metstore --hiveconf hive.root.logger=DEBUG,console
Hive开启审计日志
m0_50836167的博客
03-22 3698
CDH5和CDH6开启审计日志的方式有点区别 免费拿走不谢 CDH6.x Hive的版本的2.x，使用的log4j2，开启审计日志如下： appenders=AUDIT appender.AUDIT.type=RollingRandomAccessFile appender.AUDIT.name=AUDIT appender.AUDIT.fileName=${log.dir}/hive_audit.log appender.AUDIT.filePattern=${log.dir}/hive_audit.%
hive 打开调试模式
数据挖掘者DATAMiner
08-07 5696
打开调试模式： hive -hiveconf hive.root.logger=DEBUG,console
linux系统HIVE查看文件日志巧妙方法
weixin_59544199的博客
03-31 3521
1.先关闭hive 2.双开一个窗口,输入 tail -f hive.log 3.再次打开hive 4.查看日志
Hive学习笔记（3）- Hive 运行日志的配置
一角残叶的博客
01-16 2737
1 Hive 运行日志配置 [hadoop@node1 ~]$ cd $HIVE_HOME/conf [hadoop@node1 conf]$ ll total 20 -rw-r--r--. 1 hadoop hadoop 1196 Mar 24 2016 beeline-log4j.properties.template -rw-r--r--. 1 hadoop hadoop 2470 Jan...
hive 的debug命令
Yrz7746321的博客
07-27 870
hive的debug命令：hive -hiveconf hive.root.logger=Debug,console hiveserver2的 debug 实现： 1. beeline has a flag--verbose=[true/false] that will output more information, I use that option regularly to get back more information about stacktraces. 2.Edit the /..
Hive如何进入debug模式
红叶的博客
11-17 1245
输入指令 ./hive -hiveconf hive.root.logger=DEBUG,console 即可进入
hive启动debug问题
weixin_34217711的博客
11-22 467
最近在debug hive的一个bug,之前都是使用打印日志来跟踪源码，这种方式效率比较低（每次更改了源码都要重新编译并替换线上的jar包）,java的应用可以支持remote debug的，hive也不例外，主要是通过hive --debug来实现. 在运行hive --debug时遇到如下问题： 1 2 3 ERROR:Canno...
修改hive的日志文件
03-26
由于Hive使用Log4j来记录日志，因此可以通过修改Log4j配置文件来更改Hive日志文件的位置和格式。下面是一些步骤： 1. 找到hive-log4j2.properties文件。通常可以在$HIVE_HOME/conf目录下找到该文件。 2. 打开hive-log4j2.properties文件，找到以下行： # Define the root logger with appender file log4j.rootLogger=INFO, file 3. 在log4j.rootLogger行下面添加以下配置： # Define the file appender log4j.appender.file=org.apache.log4j.RollingFileAppender log4j.appender.file.File=/path/to/new/log/file/hive.log log4j.appender.file.Append=true 其中，/path/to/new/log/file/hive.log是您想要保存日志文件的位置和名称。您可以将其替换为自己想要的路径和文件名。 4. 保存hive-log4j2.properties文件，并重新启动Hive服务。之后，Hive日志将记录在新文件中。 请注意，如果您的Hive集群由多个节点组成，则需要在每个节点上修改hive-log4j2.properties文件，以确保所有节点上的日志都被记录在同一位置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值