Hive从入门到放弃——Hive的shell操作及参数配置（十七）

最新推荐文章于 2024-01-21 20:22:18 发布
最新推荐文章于 2024-01-21 20:22:18 发布
阅读量609 收藏
点赞数 1
分类专栏： Hadoop Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LXWalaz1s1s/article/details/106564513
版权

背 景

  Hive在实际运用中，也会涉及到很多Shell相关的指令，这里据例举一些常用的；

Hive Cli启动

  最常用的指令，进入Hive Cli环境,在Linux配置好Hive安装目录的环境变量后，直接Hive进入，具体如下；

[hadoop@dw-test-cluster-007 ]$ hive
which: no hbase in (/usr/local/tools/anaconda3/bin:/usr/local/tools/anaconda3/condabin:/usr/local/tools/azkaban/azkaban-exec-server/bin:/usr/local/tools/azkaban/azkaban-web-server/bin:/usr/local/tools/anaconda3/bin:/usr/local/tools/java/current/bin:/usr/local/tools/scala/current/bin:/usr/local/tools/hadoop/current/bin:/usr/local/tools/spark/current/bin:/usr/local/tools/hive/current/bin:/usr/local/tools/zookeeper/current/bin:/usr/local/tools/flume/current/bin:/usr/local/tools/flink/current/bin:/usr/local/tools/node/current/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/liuxiaowei/.local/bin:/home/liuxiaowei/bin)

Logging initialized using configuration in file:/usr/local/tools/hive/apache-hive-2.3.5-bin/conf/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive>

Hive Cli的扩展

hive指令带选项参数

hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S]

-i 从文件初始化 HQL
-e 从命令行执行指定的 HQL
-f 执行 HQL 脚本
-v 输出执行的 HQL 语句到控制台
-p connect to Hive Server on port number
-hiveconf x=y（Use this to set hive/hadoop configuration variables）
-S：表示以不打印日志的形式执行命名操作

hive指令带选项参数效果举例

  直接执行HiveQL语句，如下；

[hadoop@dw-test-cluster-001 ~]$ hive -e "select * from dw.ods_sale_order_producttion_amount;"
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
202005  20200501        199000.00       2020    30      20200731        00
202005  20200502        185000.00       2020    30      20200731        00
202005  20200503        199000.00       2020    30      20200731        00
202005  20200504        138500.00       2020    30      20200731        00
202005  20200505        196540.00       2020    30      20200731        00
202005  20200506        138500.00       2020    30      20200731        00
202005  20200507        159840.00       2020    30      20200731        00
202005  20200508        189462.00       2020    30      20200731        00
202005  20200509        200000.00       2020    30      20200731        00
202005  20200510        198540.00       2020    30      20200731        00
202006  20200601        189000.00       2020    30      20200731        00
202006  20200602        185000.00       2020    30      20200731        00
202006  20200603        189000.00       2020    30      20200731        00
202006  20200604        158500.00       2020    30      20200731        00
202006  20200605        200140.00       2020    30      20200731        00
202006  20200606        158500.00       2020    30      20200731        00
202006  20200607        198420.00       2020    30      20200731        00
202006  20200608        158500.00       2020    30      20200731        00
202006  20200609        200100.00       2020    30      20200731        00
202006  20200610        135480.00       2020    30      20200731        00
Time taken: 4.23 seconds, Fetched: 20 row(s)
[hadoop@dw-test-cluster-001 ~]$

  根据HiveQL存在文件上的语句来执行，把刚刚的hive -e "select * from dw.ods_sale_order_producttion_amount;"写入文件ods_sale_order_producttion_amount.sql S,就可以执行以下操作；

[hadoop@dw-test-cluster-001 ~]$ hive -f ods_sale_order_producttion_amount.sql
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
202005  20200501        199000.00       2020    30      20200731        00
202005  20200502        185000.00       2020    30      20200731        00
202005  20200503        199000.00       2020    30      20200731        00
202005  20200504        138500.00       2020    30      20200731        00
202005  20200505        196540.00       2020    30      20200731        00
202005  20200506        138500.00       2020    30      20200731        00
202005  20200507        159840.00       2020    30      20200731        00
202005  20200508        189462.00       2020    30      20200731        00
202005  20200509        200000.00       2020    30      20200731        00
202005  20200510        198540.00       2020    30      20200731        00
202006  20200601        189000.00       2020    30      20200731        00
202006  20200602        185000.00       2020    30      20200731        00
202006  20200603        189000.00       2020    30      20200731        00
202006  20200604        158500.00       2020    30      20200731        00
202006  20200605        200140.00       2020    30      20200731        00
202006  20200606        158500.00       2020    30      20200731        00
202006  20200607        198420.00       2020    30      20200731        00
202006  20200608        158500.00       2020    30      20200731        00
202006  20200609        200100.00       2020    30      20200731        00
202006  20200610        135480.00       2020    30      20200731        00
Time taken: 4.23 seconds, Fetched: 20 row(s)
[hadoop@dw-test-cluster-001 ~]$

Hive在Linux下启动JDBC连接

  前提确保自己的hive配置了jdbc连接，而且 启动了jdbc service，然后通过shell指令的jdbc连接如下：

方法1
beeline
!connect jdbc:hive2://dw-test-cluster-007:10000
输入用户名，输入密码；
方法2：
或者 beeline -u “jdbc:hive2://dw-test-cluster-007:10000” -n hadoop hadoop
-u : 指定元数据库的链接信息
-n : 指定用户名和密码

  shell环境下jdbc连接效果如下：

[hadoop@node1 apache-hive-2.3.5-bin]$  beeline -u "jdbc:hive2://node1:10000" -n hadoop hadoop
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/data/tools/apache-hive-2.3.5-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/data/tools/hadoop-2.8.5/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Connecting to jdbc:hive2://node1:10000
Connected to: Apache Hive (version 2.3.5)
Driver: Hive JDBC (version 2.3.5)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 2.3.5 by Apache Hive
0: jdbc:hive2://node1:10000> show databases;
+----------------+
| database_name  |
+----------------+
| default        |
| dw             |
+----------------+
2 rows selected (5.817 seconds)
0: jdbc:hive2://node1:10000>

Hive的重启

  准确启动后，jps指令能查到两个RunJar进程对应hive的本身service和hive的jdbc service，要 重启hive的话，就先kill这两个RunJar,然后在运行这个脚本即可，注意:jdbc连接hive的配置为冷加载，什么意思呢，假设你改了一个hdfs或者hive的配置，你要是用jdbc连接的hive，不一定能刷新到新的配置，甚至可能会报错，如你修改了hdfs块的大小，另一边你用jdbc在查询hive表，可能会引发异常,这个时候你需要重启一下hive的jdbc service，jps查看如下：

[hadoop@node1 apache-hive-2.3.5-bin]$ jps
8195 DFSZKFailoverController
15686 Jps
7607 NameNode
15303 RunJar
6408 QuorumPeerMain
15304 RunJar

  可以在你的hive目录下，新建一个shell文件start_hive.sh,
shell指令vim /data/tools/apache-hive-2.3.5-bin/start_hive.sh，里面内容如下，然后保存退出；

#!/usr/bin/env bash

#后台启动hive service
nohup hive --service metastore >> /data/logs/hive/meta.log 2>&1 &

#后台启动hive 的jdbc service
nohup  hive --service hiveserver2 >> /data/logs/hive/hiveserver2.log 2>&1 &

  以上就是Hive在使用中涉及到的一些常用的Shell命令；

Hive参数配置

  在实际运用中，最靠谱最稳定的还是使用Hive Cli环境，而Hive Cli环境有一个很常用的功能，就是Hive的相关参数配置，不仅能方便我们读取数据结果，还能起到调优的作用，Hive参数配置大致可以分为三种情况；

  • 通过配置文件
  • 通过命令行参数（对 hive 启动实例有效）
  • 参数声明 （对 hive 的连接 session 有效）

通过配置文件

  Hive 也会读入Hadoop 的配置，因为 Hive 是作为 Hadoop 的客户端启动的，Hive 的配置会覆盖 Hadoop 的配置，配置文件的设定对本机启动的所有 Hive 进程都有效。配置文件通常是指

  1. hive-site.xml
  2. hive-default.xml
  3. hadoop相关的用户自定义配置文件(core-site.xml,hdfs-site.xml,mapred-site.xml等)
  4. hadoop相关的默认配置文件(core-default.xml,hdfs-default.xml,mapred-default.xml等)

通过命令行参数（对 hive 启动实例有效）

  启动 Hive（客户端或 Server 方式）时，可以在命令行添加-hiveconf param=value 选项来设定参数，例如启东Hive Cli时指定表头输出；

[hadoop@shucang-10 ~]$  hive -hiveconf hive.cli.print.header=true

参数声明 （对 hive 的连接 session 有效）

  通过进入Hive的cli环境后，利用set hive.cli.print.header=true;来设置属性，具体如下；

[hadoop@dw-test-cluster-007 ~]$ hive
Logging initialized using configuration in file:/usr/local/tools/hive/apache-hive-2.3.5-bin/conf/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive>use dw;
OK
Time taken: 5.351 seconds
hive> set hive.cli.print.header=true;
hive>

  这些方式的参数设置有一定的优先级顺序，顺序如下；

  1. 参数SET命令声明 （对 hive 的连接 session 有效）;
  2. 通过命令行-hiveconf参数（对 hive 启动实例有效）;
  3. Hive用户自定义的参数配置文件hive-site.xml
  4. Hive默认的参数配置文件hive-default.xml
  5. Hadoop相关的用户自定义配置文件(core-site.xml,hdfs-site.xml,mapred-site.xml等)
  6. Hadoop相关的默认配置文件(core-default.xml,hdfs-default.xml,mapred-default.xml等)

  具体的参数的值和配置的含义，可以参考官方wiki：Hive Configuration Properties;

╭⌒若隐_RowYet——大数据
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hive安装与配置及常见问题解决
qq_53025556的博客
10-14 1525
Hive安装与配置及常见问题解决
【Hive】hive shell
人生所向，皆是美好
01-14 194
文章目录
azkaban有参和无参作业
帆了个帆的专栏
08-16 1052
无参作业 o2o_2_hive.job：将清洗完的数据入hive库 o2o_clean_data.job：调用mr清洗hdfs数据 o2o_up_2_hdfs.job：将文件上传至hdfs o2o_get_file_ftp1.job：从ftp1获取日志 o2o_get_file_fip2.job：从ftp2获取日志 依赖关系： 3依赖4和5，2依赖3，1依赖2，4和5没有依赖关系。1.o2o_2_
Hadoop学习笔记（25）Azkaban的作业调度
boranyueshijie的博客
05-30 211
一、
shell语句执行hive查询
热门推荐
东杰书屋
06-29 1万+
执行hive查询实例 执行select查询$HIVE_HOME/bin/hive -e select a.col from tab1 a 加入配置变量的查询$HIVE_HOME/bin/hive -e select a.col from tab1 a -hiveconf hive.exec.scratchdir=/home/my/hive_scratch  -hiv
HIVE从入门到精通.pdf
01-17
Hive从入门到精通，适合想学hive的小白看
hive从入门到放弃(六)——常用文件存储格式.doc
07-09
Hive 文件存储格式详解 Hive 文件存储格式是 Hive 中非常重要的概念，它直接影响着数据的存储和查询效率。在 Hive 中，常用的文件存储格式有 TextFile、ORC 和 Parquet 三种。下面我们将详细介绍这三种存储格式的...
Hive从入门到精通资源.zip
05-15
《Hive从入门到精通：全面解析与实践》 在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，以其强大的数据查询和分析能力深受广大开发者和数据分析师的青睐。本资源包“Hive从入门到精通资源.zip”包含了...
Java私塾：Hive Shell 基本操作——深入浅出学Hive
10-14
**Java私塾：深入浅出学Hive——Hive Shell基本操作** 在大数据处理领域，Apache Hive 是一种基于 Hadoop 的数据仓库工具，它允许用户使用 SQL 类似的查询语言（HiveQL）来管理和处理存储在 HDFS 上的大量数据。...
hive-shell
07-02
github.rar Hadoop Snapshot
学习笔记——Hive的进入和退出以及HiveSql 的运行方式
Jchan_Wu的博客
10-18 6601
Hive的基本使用 进入hive窗口 输入hive即可进入hive窗口 退出 输入 exit; hiveSql 的两种运行方式 直接在hive窗口中执行 sql 语句 使用 shell 脚本执行 sql 语句 方法一：hive -e 直接执行sql语句， hive -v -e 的v表示展示log信息 ​ 适用于当想把sql语句自动化执行时，就可以写成shell 脚本的方式，然后通过调度平台调用shell 脚本即可，是常用的一种方式。 进入hive,运行后自动退出hive #!/bin/sh hive -
Hive 常用 Shell命令
曾有樱花落海洋
03-03 2607
Hive shell命令 详情见官网API 001、启动 * 基本命令 /bin/hive {config} --auxpath : 添加第三方的jar包，作用未知.. --config : 指定hive启动的配置文件，默认读的是 ../conf/hive-site.xml --service serviceName &lt;serv...
Hive的Shell操作
qianyulin
01-26 1498
一、Hive的命令行 1、Hive支持的一些命令 Command Description quit Use quit or exit to leave the interactive shell. set key=value Use this to set value of particular configuration variable. One thing to note here...
shell命令执行hive脚本
最新发布
weixin_74292291的博客
01-21 936
shell命令执行hive脚本，Hive的hql命令的四种执行方式
azkaban 参数传值坑.
一杯派蒙的博客
11-23 2075
如图，azkaban 中 “” 的内容会被过滤掉。
hive 命令行传入参数
weixin_30323961的博客
04-09 699
azkban实现任务重跑 我们执行sql的方式是将hql文件上传到服务器本地。然后执行shell命令 hive -hivevar dt="2019-04-07" -f ./test_scheduler.hql 注：hive -e 是执行依据短sql，hive -f是执行hql文件 test_scheduler.hql的内容是需要执行的sql语句，参数的写法如下图： se...
Hive Shell
ShaneHolmes
03-26 365
Hive专栏 上一篇 主目录 下一篇 目录1 shell执行hive命令1.1 查询1.2 运行脚本1.3 运行参数文件2 hive中执行shell命令2.1 执行shell普通命令2.2 执行hadoop命令 【前言】 在shell命令行中可以运行hive命令，在hive中也可...
Hive入门(一)：Hive Shell的基本操作
m0_37324825的博客
05-15 1万+
Hive入门(一)：Hive Shell的基本操作 总结Hive基本的命令行操作 进入Hive部署包的bin目录，在命令行输入./hive启动hive cli。 $ cd /user/home/apache-hive-2.2.0-bin/bin $ ./hive 变量和属性 命名空间 使用权限 描述 hivevar 读/写 用户自定义变量 ...
大数据技术之hive学习文档
06-29
"这篇文档是关于大数据技术中的Hive学习资料，涵盖了Hive的基本概念、安装教程、数据类型、DDL操作、查询语法、函数应用、压缩与存储、企业级优化、实战项目以及常见错误和解决方案，适合初学者和期末复习使用。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

╭⌒若隐_RowYet——大数据

谢谢小哥哥，小姐姐的巨款

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值