Hive的日志操作

最新推荐文章于 2024-01-10 08:30:00 发布
最新推荐文章于 2024-01-10 08:30:00 发布
阅读量932 收藏 1
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/hello-wei/p/10645740.html
版权

想要看hive的日志，我们查看/home/hadoop/hive/conf/hive-log4j2.properties

# list of properties
property.hive.log.level = INFO
property.hive.root.logger = DRFA
property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
property.hive.log.file = hive.log
property.hive.perflogger.log.level = INFO

红色部分说明了hive的日志目录，但是我们查看 echo ${sys:java.io.tmpdir} 是没有输出的，为空，其实日志目录在系统的/tmp/hostname/hive.log

[hadoop@master hadoop]$ pwd
/tmp/hadoop
[hadoop@master hadoop]$ ls -rlt
total 320
-rw-rw-r--. 1 hadoop hadoop  18669 Jan 11 11:12 hive.log.2019-01-11
-rw-rw-r--. 1 hadoop hadoop 269939 Mar 31 23:55 hive.log.2019-03-31
-rw-rw-r--. 1 hadoop hadoop   8003 Apr  1 22:32 hive.log.2019-04-01
-rw-rw-r--. 1 hadoop hadoop   8946 Apr  2 22:33 stderr
-rw-rw-r--. 1 hadoop hadoop  10850 Apr  2 22:35 hive.log

在hive的安装目录，新建一个logs目录，来存储日志文件

[hadoop@master hive]$ pwd
/home/hadoop/hive
[hadoop@master hive]$ mkdir logs

修改配置文件 hive-log4j2.properties

property.hive.log.dir = /home/hadoop/hive/logs

退出hive

[hadoop@master sbin]$ hive

Logging initialized using configuration in file:/home/hadoop/hive/conf/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive> show databases;
OK
db_hive
default
Time taken: 3.857 seconds, Fetched: 2 row(s)
hive> use db_hive;
OK
Time taken: 0.024 seconds
hive> exit ;

重新启动hive

[hadoop@master logs]$ pwd
/home/hadoop/hive/logs
[hadoop@master logs]$ ls -rlt
total 8
-rw-rw-r--. 1 hadoop hadoop 7946 Apr  2 22:50 hive.log

可以看到hive的日志已经更改路径了

可以看hive中的变量：

hive> set;

...
...
system:sun.java.launcher=SUN_STANDARD
system:sun.jnu.encoding=UTF-8
system:sun.management.compiler=HotSpot 64-Bit Tiered Compilers
system:sun.os.patch.level=unknown
system:user.country=US
system:user.dir=/home/hadoop/hadoop-2.7.3/sbin
system:user.home=/home/hadoop
system:user.language=en
system:user.name=hadoop
system:user.timezone=America/Los_Angeles

设置属性在启动的时候

[hadoop@master sbin]$ hive -help
usage: hive
 -d,--define <key=value>          Variable substitution to apply to Hive
                                  commands. e.g. -d A=B or --define A=B
    --database <databasename>     Specify the database to use
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable substitution to apply to Hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)
[hadoop@master sbin]$ hive --hiveconf hive.root.logger=INFO,console

Logging initialized using configuration in file:/home/hadoop/hive/conf/hive-log4j2.properties Async: true
2019-04-02T22:56:32,735  INFO [main] SessionState: 
Logging initialized using configuration in file:/home/hadoop/hive/conf/hive-log4j2.properties Async: true
2019-04-02T22:56:32,978  WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive> use db_hive;
2019-04-02T22:56:52,176  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Compiling command(queryId=hadoop_20190402225652_7939edc0-f75c-4660-8bc3-a2b793b0251f): use db_hive
2019-04-02T22:56:52,563  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: Opening raw store with implementation class:org.apache.hadoop.hive.metastore.ObjectStore
2019-04-02T22:56:52,598  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.ObjectStore: ObjectStore, initialize called
2019-04-02T22:56:53,497  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.ObjectStore: Setting MetaStore object pin classes with hive.metastore.cache.pinobjtypes="Table,StorageDescriptor,SerDeInfo,Partition,Database,Type,FieldSchema,Order"
2019-04-02T22:56:54,917  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.MetaStoreDirectSql: Using direct SQL, underlying DB is MYSQL
2019-04-02T22:56:54,918  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.ObjectStore: Initialized ObjectStore
2019-04-02T22:56:55,022  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: Added admin role in metastore
2019-04-02T22:56:55,025  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: Added public role in metastore
2019-04-02T22:56:55,056  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: No user is added in admin role, since config is empty
2019-04-02T22:56:55,165  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: get_all_functions
2019-04-02T22:56:55,166  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] HiveMetaStore.audit: ugi=hadoop       ip=unknown-ip-addr      cmd=get_all_functions
2019-04-02T22:56:55,177  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: get_database: db_hive
2019-04-02T22:56:55,178  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] HiveMetaStore.audit: ugi=hadoop       ip=unknown-ip-addr      cmd=get_database: db_hive
2019-04-02T22:56:55,192  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Semantic Analysis Completed
2019-04-02T22:56:55,194  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Returning Hive schema: Schema(fieldSchemas:null, properties:null)
2019-04-02T22:56:55,197  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Completed compiling command(queryId=hadoop_20190402225652_7939edc0-f75c-4660-8bc3-a2b793b0251f); Time taken: 3.036 seconds
2019-04-02T22:56:55,198  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Concurrency mode is disabled, not creating a lock manager
2019-04-02T22:56:55,198  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Executing command(queryId=hadoop_20190402225652_7939edc0-f75c-4660-8bc3-a2b793b0251f): use db_hive
2019-04-02T22:56:55,210  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] sqlstd.SQLStdHiveAccessController: Created SQLStdHiveAccessController for session context : HiveAuthzSessionContext [sessionString=ad332b5e-6ec9-4307-bef1-253a5ab59e59, clientType=HIVECLI]
2019-04-02T22:56:55,219  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] hive.metastore: Mestastore configuration hive.metastore.filter.hook changed from org.apache.hadoop.hive.metastore.DefaultMetaStoreFilterHookImpl to org.apache.hadoop.hive.ql.security.authorization.plugin.AuthorizationMetaStoreFilterHook
2019-04-02T22:56:55,220  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: Cleaning up thread local RawStore...
2019-04-02T22:56:55,221  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] HiveMetaStore.audit: ugi=hadoop       ip=unknown-ip-addr      cmd=Cleaning up thread local RawStore...
2019-04-02T22:56:55,221  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: Done cleaning up thread local RawStore
2019-04-02T22:56:55,221  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] HiveMetaStore.audit: ugi=hadoop       ip=unknown-ip-addr      cmd=Done cleaning up thread local RawStore
2019-04-02T22:56:55,231  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Starting task [Stage-0:DDL] in serial mode
2019-04-02T22:56:55,232  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: get_database: db_hive
2019-04-02T22:56:55,232  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] HiveMetaStore.audit: ugi=hadoop       ip=unknown-ip-addr      cmd=get_database: db_hive
2019-04-02T22:56:55,344  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: Opening raw store with implementation class:org.apache.hadoop.hive.metastore.ObjectStore
2019-04-02T22:56:55,347  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.ObjectStore: ObjectStore, initialize called
2019-04-02T22:56:55,361  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.MetaStoreDirectSql: Using direct SQL, underlying DB is MYSQL
2019-04-02T22:56:55,361  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.ObjectStore: Initialized ObjectStore
2019-04-02T22:56:55,367  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: get_database: db_hive
2019-04-02T22:56:55,367  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] HiveMetaStore.audit: ugi=hadoop       ip=unknown-ip-addr      cmd=get_database: db_hive
2019-04-02T22:56:55,373  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Completed executing command(queryId=hadoop_20190402225652_7939edc0-f75c-4660-8bc3-a2b793b0251f); Time taken: 0.175 seconds
OK
2019-04-02T22:56:55,376  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: OK
Time taken: 3.222 seconds
hive> show tables;
2019-04-02T22:57:06,557  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Compiling command(queryId=hadoop_20190402225706_0f585a6e-ca17-4926-8d99-3260e7caabf5): show tables
2019-04-02T22:57:06,565  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: get_database: db_hive
2019-04-02T22:57:06,565  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] HiveMetaStore.audit: ugi=hadoop       ip=unknown-ip-addr      cmd=get_database: db_hive
2019-04-02T22:57:06,571  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Semantic Analysis Completed
2019-04-02T22:57:06,592  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:tab_name, type:string, comment:from deserializer)], properties:null)
2019-04-02T22:57:06,629  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] exec.ListSinkOperator: Initializing operator LIST_SINK[0]
2019-04-02T22:57:06,633  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Completed compiling command(queryId=hadoop_20190402225706_0f585a6e-ca17-4926-8d99-3260e7caabf5); Time taken: 0.076 seconds
2019-04-02T22:57:06,633  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Concurrency mode is disabled, not creating a lock manager
2019-04-02T22:57:06,633  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Executing command(queryId=hadoop_20190402225706_0f585a6e-ca17-4926-8d99-3260e7caabf5): show tables
2019-04-02T22:57:06,634  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Starting task [Stage-0:DDL] in serial mode
2019-04-02T22:57:06,636  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: get_database: db_hive
2019-04-02T22:57:06,637  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] HiveMetaStore.audit: ugi=hadoop       ip=unknown-ip-addr      cmd=get_database: db_hive
2019-04-02T22:57:06,639  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] metastore.HiveMetaStore: 0: get_tables: db=db_hive pat=.*
2019-04-02T22:57:06,639  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] HiveMetaStore.audit: ugi=hadoop       ip=unknown-ip-addr      cmd=get_tables: db=db_hive pat=.*
OK
2019-04-02T22:57:06,661  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: Completed executing command(queryId=hadoop_20190402225706_0f585a6e-ca17-4926-8d99-3260e7caabf5); Time taken: 0.028 seconds
2019-04-02T22:57:06,661  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] ql.Driver: OK
2019-04-02T22:57:06,684  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] mapred.FileInputFormat: Total input paths to process : 1
2019-04-02T22:57:06,701  INFO [ad332b5e-6ec9-4307-bef1-253a5ab59e59 main] exec.ListSinkOperator: Closing operator LIST_SINK[0]
u2
u4
Time taken: 0.105 seconds, Fetched: 2 row(s)

日志比较详细。

转载于:https://www.cnblogs.com/hello-wei/p/10645740.html

weixin_30500289
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive SQL语法总结
01-20
Hive是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，它架构在Hadoop之上，通过SQL来对数据进行操作，了解SQL的人，学起来毫不费力。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。Hive 并非为联机事务处理而设计，Hive 并不提供实时的查询和基于行级的数据更新操作。Hive 的最佳使用场合是大数据集的批处理作业，例如，网络日志分析。 下面我们就为大家总结了一些H
hive基础知识总结
09-18
本文档为总结的hive基础知识，包括hive服务、变量和属性、日志、表操作……等基础知识。
Hadoop简单应用案例，包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等
01-02
Hadoop简单应用案例，包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等
大数据:hive1
01-07
1:什么是hive:由facebook开源的用于解决海量结构化日志的数据统计 2：hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映谢成一张表，并提供类SQL查询功能。 本质：将Hql转化成mpareduce  其基本执行过程：     数据仓库通过sql进行统计分析——–>将SQL语言中常用的操作（select,where,group等）用mapreduce写成很多模板 所有的mapreduce模板封装在hive中—>通过hive框架匹配出相应的mapreduce模板—->运行mapreduece生成相应的分析结果—>result->client—>用户根据业务需求编写相应的
Hive中常用的一些配置操作（日志，显示等操作）
JacksonKing的专栏
05-20 1421
1.修改默认的数据仓库位置，在hive-site.xml文件中配置如下参数： <property> <name>hive.metastore.warehouse.dir</name> <value>自己指定仓库位置（eg:/user/hive/warehouse）</value> </property> 添加好参数以后，需要对指定的目录附上用户组的权限，执行以下命令： $ $HADOOP_HOME/...
搭建Hive环境
sun_xo的博客
06-02 225
大数据学习笔记之二——《搭建Hive环境》
Hive的安装配置
zhuzuwei的博客
10-11 394
操作系统centOS 6.5 Hadoop版本：hadoop 2.7.6 JDK版本：JDK 1.8 ant版本：ant 1.10.5 mysql版本：mysql 5.7 一、安装准备 1. 从官网下载解压hive的bin压缩文件 , 此处使用的是hive-2.1.1版本 2. 通过ftp传输到linux系统，使用tar -xzvf apache-hive-2.1.1-bi...
Hive学习小技能总结
Ran_记忆犹新的博客
06-07 486
1、查看到hive执行的历史命令：进入到用户的主目录，使用命令cat /home/hadoop/.hivehistory2、执行查询时若想显示表头信息时，可以执行命令Hive&gt; set hive.cli.print.header=true;3、hive的执行日志的存储目录在${java.io.tmpdir}/${user.name}/hive.log中，假如使用hadoop用户操作的hive...
HIVE函数集合（全）
热门推荐
小丑鱼1127的博客
09-29 2万+
HIVE函数集合 函数名 含义及实例 ABS abs（x） - 返回x的绝对值 示例：   &gt; SELECT abs（0）FROM src LIMIT 1;   0   &gt; SELECT abs（-5）FROM src LIMIT 1;   五 ACOS acos（x） - 如果-1 &lt;= x &lt;= 1则返回x的反余...
HIVE-如何查看执行日志
weixin_33795743的博客
11-08 7785
HIVE既然是运行在hadoop上，最后又被翻译为MapReduce程序，通过yarn来执行。所以我们如果想解决HIVE中出现的错误，需要分成几个过程 HIVE自身翻译成为MR之前的解析错误 Hadoop文件系统的错误 YARN调度过程中的错误 2,3过程中的错误，请参考hadoop相关的教程，这里只是提醒大家思考的时候需要考虑到这两个方面的原因。搞清楚哪一个过程出问题之后采取进一...
Hive的分区表
01-20
Hive分区表 ...分区还能够更加方便的管理一些特殊数据，例如一些日志数据，可以是一个天一个分区或者一个月一个分区，视数据量而定，这样就能很好地管理日志数据了。 分区表的基本操作 现在有以下数据： 10 A
Apache Hive详解
wudidahuanggua的博客
09-21 1599
hive详细介绍
Hive 不同级别日志配置 hive-log4j2.properties
weixin_52918377的博客
02-08 2135
# Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this work for additional information # regarding copyright ownership. The ASF licenses this file # to you under
hive 运行日志 数据仓库 数据仓库显示 配置
qq_43192537的博客
09-22 992
hive 运行日志 数据仓库 数据仓库显示 配置
linux查看hive日志,Hive日志调试
weixin_35798040的博客
05-01 898
写在前面的话，学《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关https://www.iteblog.com/archives/tag/hive-technology/这些天看到很多人在使用Hive的过程遇到这样或那样的错误，看着那些少的可怜的错误日志出错，一直找不到原因。后来我给他们介绍了修改日志输出级别之后，错误原因很快得到定位。于是乎我写了这篇博文。希望那些在使用HQL...
Hive 的日志和监控工具
互联网知识分享
08-06 1202
通过设置合适的日志级别，可以控制日志的详细程度和输出量。而监控工具可以提供集中的监控界面，方便管理员进行集群的监控和管理。在实际应用中，可以根据具体需求选择合适的监控工具，并通过配置文件进行相应的设置。可以通过集成各个组件的监控工具，提供一个统一的监控界面，方便管理员进行集群的监控和管理。的稳定运行和及时发现问题，日志和监控工具是必不可少的组成部分。通过设置不同的日志级别，可以控制日志的详细程度和输出量。的日志和监控工具，包括其原理、使用方法和示例代码。的日志级别、查看日志文件，并使用不同的监控工具监控。
Hive基础知识（六）：Hive 配置运行日志信息、打印当前库和表头、参数配置方式
最新发布
zuodingquan666的博客
01-10 804
另外，Hive 也会读入 Hadoop 的配置，因为。
Hive函数大全
wxl76183185的专栏
07-24 340
一、关系运算： 1. 等值比较: =          语法：A=B          操作类型：所有基本类型          描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE          举例：          hive>select 1 from lxw_dual where 1=1;          1 2. 不等值比较:          
HQL函数总结
decho_的博客
09-16 3346
一、关系运算 等值比较: = 语法：A=B 操作类型：所有基本类型 描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1; 1 不等值比较: <> 语法: A <> B 操作类型: 所有基本类型 描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FALSE 举例： hive> select1 fro
hive 开启llap日志
05-30
要开启Hive的LLAP日志，可以按照以下步骤进行操作： 1. 进入Hive的配置文件目录，通常路径为：/etc/hive/conf 2. 打开hive-site.xml文件，添加以下参数： ``` <name>hive.llap.daemon.log.level <value>DEBUG ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值