当执行hive语句时,常常遇到错误,但是不知道怎么看错误信息的情况
Hive日志分为2大类:
1、服务日志:
【hive安装路径下的目录】hive/logs
hive服务 / metastor服务出问题,查看此类日志
比如服务无法连接、连接中断等
2、执行日志:
/tmp/【用户名】/hive.log
执行日志一般在hive语句运行过程中出错时查看
注意:
1、hive分为2部分
Parse & Execute
Parse:解析SQL文
Execute:把SQL转成底层 Spark RDD
此类错误在hive的执行日志中可以查询到
2、Spark RDD
Spark RDD 的错误在Spark中,不在hive日志中
我们 可以通过 Yarn UI和Spark RDD UI 做关联,通过网页查看错误
一般网址为
【配置Yarn的主机名】: 【端口号】(一般是8088)