Hive命令和CLI(二)

最新推荐文章于 2022-09-04 13:05:24 发布
最新推荐文章于 2022-09-04 13:05:24 发布
阅读量350 收藏
点赞数
分类专栏： Hive学习笔记 文章标签： hive
原文链接：https://github.com/docs4dev/docs4dev
版权

Hive CLI

$HIVE_HOME/bin/hive 是一个 shell工具，可用于以交互方式或批处理方式运行Hive 查询。

Hive命令行选项

要获得帮助，请运行“hive -H”或“hive --help”。

Hive 0.9.0的命令行选项如下：

usage: hive
 -d,--define <key=value>          在hive命令行中定义变量
                                  e.g. -d A=B or --define A=B
 -e <quoted-query-string>         从命令行执行SQL
 -f <filename>                    从文件执行SQL
 -H,--help                        打印帮助信息
 -h <hostname>                    使用远程主机连接Hive Server
    --hiveconf <property=value>   使用给定的配置，
    --hivevar <key=value>         提供给Hive命令行的变量
                                  e.g. --hivevar A=B
 -i <filename>                    初始化SQL文件
 -p <port>                        连接到Hive Server 的端口号
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)

版本信息

从 Hive 0.10.0 开始，还有一个额外的命令 line 选项：

--database <dbname>      指定要使用的数据库

  • 例子

    1. 从命令行运行查询的示例

      $HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

    2. 设置 Hive configuration 变量的示例

      $HIVE_HOME/bin/hive -e 'select a.col from tab1 a' --hiveconf hive.exec.scratchdir=/home/my/hive_scratch  --hiveconf mapred.reduce.tasks=32

    3. 使用静默模式将数据从查询转储到文件中的示例

      $HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > a.txt

    4. 从本地磁盘运行非交互式脚本的示例

      $HIVE_HOME/bin/hive -f /home/my/hive-script.sql

    5. 从 Hadoop 支持的文件系统中运行非交互式脚本的示例

      $HIVE_HOME/bin/hive -f hdfs://<namenode>:<port>/hive-script.sql
$HIVE_HOME/bin/hive -f s3://mys3bucket/s3-script.sql

    6. 在进入交互模式之前运行初始化脚本的示例

      $HIVE_HOME/bin/hive -i /home/my/hive-init.sql

  • hiverc文件

    在没有-i选项的情况下调用 CLI 将尝试加载 H I V E H O M E / b i n / . h i v e r c 和 HIVE_HOME/bin/.hiverc 和 HIVEH​OME/bin/.hiverc和HOME/.hiverc 作为初始化 files。

    关于日志记录

    Hive 使用 log4j 进行日志记录。默认情况下，这些日志不会发送到标准输出，而是捕获到 Hive 的 log4j properties 文件指定的 log 文件中。默认情况下，Hive 将在 Hive 安装的conf/目录中使用hive-log4j.default，该目录将日志写入/tmp//hive.log并使用WARN 级别记录。

    通常需要将日志发送到标准输出 and/or 更改 logging level 以进行调试。这些可以通过命令 line 完成，如下所示：

    $HIVE_HOME/bin/hive --hiveconf hive.root.logger=INFO,console

    hive.root.logger指定 logging level 以及 log 目标。将console指定为目标会将日志发送到标准错误(而不是 log 文件)。

Hive批处理模式命令

当$HIVE_HOME/bin/hive与-e或-f选项一起运行时，它以批处理模式执行 SQL 命令。

  • hive -e ''执行查询 string。
  • hive -f从文件执行一个或多个 SQL 查询。

从 Hive 0.14 开始，可以来自 Hadoop 支持的文件系统之一(HDFS，S3，etc.))。

$HIVE_HOME/bin/hive -f hdfs://:/hive-script.sql` `$HIVE_HOME/bin/hive -f s3://mys3bucket/s3-script.sql
Hive交互式Shell 命令

当$HIVE_HOME/bin/hive在没有-e或-f选项的情况下运行时，它将进入交互式 shell 模式。使用 ”;” (分号)终止命令。可以使用“ – ”前缀指定脚本中的注释。

具体命令见Hive命令和CLI(一)

Hive资源

Hive 可以管理是否向 session 添加资源，其中这些资源需要在查询执行时提供。资源可以是 files，jars 或 archives。可以将任何本地可访问的文件添加到 session。

将资源添加到 session 后，Hive 查询可以通过其 name(在 map/reduce/transform 子句中)引用它，并且资源在整个 Hadoop cluster 上的执行时在本地可用。 Hive 使用 Hadoop 的分布式缓存在查询执行时将添加的资源分发到 cluster 中的所有计算机。

用法：

ADD { FILE[S] | JAR[S] | ARCHIVE[S] } <filepath1> [<filepath2>]*
   LIST { FILE[S] | JAR[S] | ARCHIVE[S] } [<filepath1> <filepath2> ..]
   DELETE { FILE[S] | JAR[S] | ARCHIVE[S] } [<filepath1> <filepath2> ..]
  • FILE 资源只是添加到分布式缓存中。通常，这些资源可能是要执行的转换脚本。
  • JAR 资源也被添加到 Java classpath 中。这在对象引用中是必需的，它们包含诸如 UDF 之类的对象。有关自定义 UDF 的更多信息，请参见Hive 插件。
  • ARCHIVE 资源会自动取消归档，作为分发它们的一部分。

例：

hive> add FILE /tmp/tt.py;
hive> list FILES;
  /tmp/tt.py
hive> select from networks a 
               MAP a.networkid 
               USING 'python tt.py' as nn where a.ds = '2009-01-04' limit 10;

从Hive 1.2.0开始，可以使用 ivy://group:module:version?query_string 形式的lvy URL 添加和删除资源。

  • group - 模块来自哪个模块 group。直接转换为 Maven groupId 或 Ivy Organization。
  • module - 要加载的模块的 name。直接转换为 Maven artifactId 或 Ivy artifact。
  • version - 要使用的模块的 version。可以使用任何 version 或*(最新)或 Ivy 范围。

可以在查询语句中传递各种参数，以配置如何以及将哪些 jars包添加到工件中。参数采用 key value 对的形式，由’＆'进行分隔。

用法：

ADD { FILE[S] | JAR[S] | ARCHIVE[S] } <ivy://org:module:version?key=value&key=value&...> <ivy://org:module:version?key=value&key1=value1&...>*
DELETE { FILE[S] | JAR[S] | ARCHIVE[S] } <ivy://org:module:version> <ivy://org:module:version>*

此外，我们可以在相同的 ADD 和 DELETE 命令中混合使用和。

ADD { FILE[S] | JAR[S] | ARCHIVE[S] } { <ivyurl> | <filepath> } <ivyurl>* <filepath>* 
DELETE { FILE[S] | JAR[S] | ARCHIVE[S] } { <ivyurl> | <filepath> } <ivyurl>* <filepath>*

可以传递的不同参数是：

  • exclude：以 org:module 形式使用逗号分隔的 value。
  • transitive：取值 true 或 false。默认为 true。当 transitive = true 时，将下载所有传递依赖项并将其添加到 classpath。
  • ext：要添加的文件的扩展名。默认情况下为 ‘jar’。
  • 分类器：要解析的 maven 分类器。

例子：

hive>ADD JAR ivy://org.apache.pig:pig:0.10.0?exclude=org.apache.hadoop:avro;
hive>ADD JAR ivy://org.apache.pig:pig:0.10.0?exclude=org.apache.hadoop:avro&transitive=false;

除非某些依赖项由其他资源共享，否则 DELETE 命令将删除资源及其所有传递依赖项。如果两个资源共享一组传递依赖项，并且使用 DELETE 语法删除其中一个资源，则除了共享的资源外，将删除资源的所有传递依赖项。

例子：

hive>ADD JAR ivy://org.apache.pig:pig:0.10.0
hive>ADD JAR ivy://org.apache.pig:pig:0.11.1.15
hive>DELETE JAR ivy://org.apache.pig:pig:0.10.0

如果 A 是包含 pig-0.10.0 的传递依赖性的集合，并且 B 是包含 pig-0.11.1.15 的传递依赖性的集合，则在执行上述命令之后，将删除 A-(A 交集 B)。

如果转换脚本中使用的 files 已经在 Hadoop cluster 中使用相同路径 name 的所有计算机上可用，则不必将 files 添加到 session。例如：

  • ... MAP a.networkid USING 'wc -l' ...
    这里wc是所有机器上都可用的可执行文件。
  • ... MAP a.networkid USING '/home/nfsserv1/hadoopscripts/tt.py' ...
    这里tt.py可以通过在所有 cluster 节点上配置相同的 NFS 挂载点访问。

请注意，Hive configuration 参数还可以指定 jars，files 和 archives。

旺财AI
关注
专栏目录
数仓工具—Hive源码之cli 模块(2)
07-02 6万+
hive 源码 cli 模块 关于hive 的cli 模块其实是我们日常工作中使用最多的模块了，主要包括两部分 Hive 这是hive 提供的老版本的命令行交互工具了 beeline 这是hive 新提供的交互式工具了 CLI 模块的启动流程 我们有必要简单介绍一下这一个模块，因为我们知道当我们在命令行里敲入一个hive 命令之后，然后回车，我们就可以进行和hive 交互了，而且我们知道这个过程会同时启动一个进程，就是上面我们我们截图的部分，这里我们看一下这个命令到底是怎么玩的，需要注意的实hive
Hive 源码解读 CLI 命令解读
最新发布
SmartSi
12-23 691
Hive 变量内部是以 Java 字符串的方式存储的，用户可以在查询中引用变量。命令在 hivevar 命名空间自定义变量，两者是等价的，都可以让用户在命令行中自定义用户变量以便在 Hive 脚本中引用。变量和属性是在不同的上下文中使用的术语，但是在大多数情况下它们的功能是相同的。通过上面语句可以发现 dt 属性是定义在 hiveconf 命名空间下的，而不是定义在 hivevar 命名空间下。通过 SET 查看 dt 的值可以发现变量 dt 是定义在 hivevar 命名空间下的。
【Hive】Hive CLI初探
个人公众号：Alen的数据库学习笔记
06-29 3178
$HIVE_HOME/bin/hive是一个Shell工具，可以用来以交互式或批量模式运行HIve查询，本篇对其进行学习。一 Hive环境hive&gt; select version(); OK 2.3.3 r8a511e3f79b43d4be41cd231cf5c99e43b248383 Time taken: 11.166 seconds, Fetched: 1 row(s)二 HIve C...
Hive CLI 常用操作
01-10 1086
1 官方地址地址及语法 To get help, run "hive -H" or "hive --help". Usage (as it is in Hive 0.9.0): usage: hive -d,--define &lt;key=value&gt; Variable substitution to apply to Hive ...
Hive常用的CLI命令总结
乔治在哪里
09-21 320
清屏： Ctrl + L或者 !clear 查看数据仓库中内置的函数: show functions; 查看表结构： desc 表名 查看HDFS上的文件 dfs -ls 目录 dfs -lsr 目录 ：递归的查询该目录下的所有文件 执行操作系统的命令： !命令 例如：!pwd !ls 执行SQL的脚本 source SQL文件 Hive的设置 为一个会话设置属...
hive-cli-1.1.0.jar
07-16
大数据hadoop中hive-1.1.0 的cli ，jar包，hive-cli-1.1.0.jar
Hive 系列（三）—— Hive CLI和Beeline命令行的基本使用
热门推荐
黑白影的博客
06-07 1万+
一、Hive CLI 1.1 Help 使用hive -H或者 hive --help命令可以查看所有命令的帮助，显示如下： usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e....
Hive数据文件以及CLI操作命令
09-18
附件包括一个数据文件（csv文件，包括92168条记录）和一个包含操作命令的txt文件，用于Hive的学习。 其中csv文件可以上传到HDFS构建测试数据，txt文件给出了相关的操作命令。
Hive命令和CLI(三)
Little Coal的博客
04-20 962
Beeline – 命令行Shell HiveServer2支持命令行工具Beeline， Beeline是一个基于SQLLine CLI的JDBC客户端。 SQLLine的使用规则也适用于Beeline。Beeline shell 既可以在本地模式下工作，也可以在远程模式下工作。在本地模式下，运行本地的Hive(类似于Hive CLI)，而远程模式用于通过Thrift连接到单独的HiveServ...
Hive 使用 Beeline CLI
qq_43613793的博客
04-10 192
Hive 使用 Beeline CLI 修改用户权限 在centos01中，修改core-site.xml配置文件，添加以下内容： <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups&l
Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
シ風
08-05 398
【为了CLI和Beeline命令行使用测试，这里先创建一个数据库和表并导入一些数据】 1. 创建数据库 # 创建数据库 hive> CREATE DATABASE IF NOT EXISTS hive_test > COMMENT 'hive database for test' > LOCATION '/tmp/hive/test' > WITH DBPROPERTIES ('create'='yuanzhengme'); OK Time taken: 0.
hive jar包
05-07
hive metastore jar包，可以直接下载使用，hadoop，hive
hive jar 包
10-12
hive-anttasks.jar hive-cli.jar hive-common.jar hive-contrib.jar hive-hbaseec.jar hive-hbase-handler.jar hive-hwi.jar hive-jdbc.jar hive-metastorejar hive-serde.jar hive-service.jar hive-shims.jar hadoop-core-1.0.4.jar
jdbc hive相关jar包
09-05
利用 jdbc 连接hive需要的相关jar包 一共17个
HIVE:Missing Hive CLI jar 解决方法
m0_53353946的博客
09-04 1642
Missing Hive CLI jar 解决方法
Hive命令和CLI(一)
Little Coal的博客
04-19 250
Hive语言手册-命令 Hive命令是非SQL陈述式的，例如设置 property 或添加资源。它们可以在 HiveQL 脚本中使用，也可以直接在CLI或Beeline中使用。 命令 描述 quit、exit 使用 quit 或 exit 退出交互式 shell。 reset 将 configuration 重置为默认值，意味着使用 hive 命令行中的 set 命令或-hiv...
大数据的仓库Hive学习(一)
追梦
06-20 4574
我们接着之前学习的大数据来学习。之前说到了NoSql的HBase数据库以及Hadoop中的HDFS存储系统，可是我们发现这跟我们平时常用的关系型数据库有很大区别，为了使用方便，产生了针对大数据存储的数据仓库Hive。 今天我们通过对Hive的学习，对大数据的处理又有了一定的认识。在以后的实际操作中，我们去慢慢掌握Hive的使用方法。通过不断学习，达到自己所追求的目标。
大数据笔记--Hive（第一篇）
我睡觉的时候不困
03-15 2262
目录 一、Hive 1、概述 2、Hive和数据库的比较 3、特点 ①、优点 ②、缺点 二、Hive的安装 1、概述 2、安装步骤 3、Hive运行日志 4、参数配置 一、Hive 1、概述 Hive原本时有Facebook公司开发后来贡献给了Apache的一套用于进行数据仓库管理的机制 Hive提供了类SQL（HQL，Hive QL）语句来管理HDFS上的大量数据，底层会将SQL转化为MapReduce来交给Hadoop YARN执行，因此，Hive的执行效率相对比较低，
hive客户端
测试
03-16 320
hive客户端说明 1.运行Hive CLI,过时了（缺乏多用户，安全及很多其他的特性），由hiveserver2的Beeline客户端代替 $HIVE_HOME/bin/hive 2.hiveserver2的Beeline $HIVE_HOME/bin/hiveserver2 或者$HIVE_HOME/bin/hive --service hiveserver2 Beelin...
hive CLI 命令选项
木下瞳的博客
03-22 787
$ hive --help 一个简单说明的选项列表，Service List 后面的内容，是提供的服务 $ hive--help --service cli 显示了 CLI 所提供的选项列表 命名空间 $hive -define foo=bar 定义一个变量 foo set 显示或修改变量值，直接 set 显示全部变量，只截取了部分，还可以...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值