Hive 参数配置

最新推荐文章于 2023-11-01 21:46:14 发布
最新推荐文章于 2023-11-01 21:46:14 发布
阅读量263 收藏
点赞数
分类专栏： 从零开始Hadoop Hadoop 文章标签： Hadoop Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxydzyr/article/details/100974840
版权
本文介绍了Hive的参数配置，包括通过命令行、配置文件和参数声明三种方式。详细讨论了不同设定方式的优先级，以及如何在Hive Shell中执行HQL和查看帮助选项。此外，还提到了Hive参数对优化HQL执行效率和解决配置问题的重要性。
摘要由CSDN通过智能技术生成

Hive 参数配置

1． Hive 命令行

直接输入 $HIVE_HOME/bin/hive 会进入Hive的shell客户端交互窗口。

输入$HIVE_HOME/bin/hive –H或者 –help可以显示帮助选项：
说明：

  • -i 初始化 HQL 文件。
  • -e 从命令行执行指定的 HQL
  • -f 执行 HQL 脚本
  • -v 输出执行的 HQL 语句到控制台
  • -p <port> connect to Hive Server on port number
  • -hiveconf x=y Use this to set hive/hadoop configuration variables.

例如：

$HIVE_HOME/bin/hive -e 'select * from tab1 a'
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql
$HIVE_HOME/bin/hive -f hdfs://<namenode>
最低0.47元/天 解锁文章
xxydzyr
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive参数配置
weixin_48626604的博客
03-28 230
Hive参数配置 1. Hive CLL $HIVE_HOME/bin/hive是一个shellUtil，通常称之为hive的第一代客户端或者旧客户端，主要功能有两个 用于交互式或批处理模式运行Hive查询，注意，此时客户端，需要并且能够访问的是Hive metastore服务，而不是hiveserver2服务 用于hive相关服务的启动，比如metastore服务 常见命令 -e <quoted-query-string> 执行命令行-e参数后指定的sql语句 运
hive参数配置列表
fly_sky333的博客
06-07 572
注：该列表很多都用不到，如想查看作用，直接搜索即可。 hive.exec.mode.local.auto=true 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） cal.auto.inputbytes.max=134217728L 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。 hive.exec.mode.local.auto.tasks.max=4 如果 hive.exe
hive参数配置说明大全
11-02
hive参数配置说明大全，详细说个各个参数的作用用法
Hive参数
墨玉浮白的博客
06-29 1833
1. hive中的参数、变量都是以命名空间开头 hiveconf等同于配置文件的属性，只不过在配置文件中配置是永久有效，配置hiveconf只在当前会话有效。打印表头 配置完hiveconf后，查询就有了wcjg.word 和wcjg.ct。退出hive，再进入，查询wc表，就没有wc.line了。 2.hive参数的设置方式 1.修改配置文件 ${HIVE_HOME}/conf/hive-s...
hive参数设置
weixin_44836843的博客
05-31 371
1 -- 设置hive的计算引擎为spark 2 set hive.execution.engine=spark; 3 4 -- 修复分区 5 set hive.msck.path.validation=ignore; 6 msck repair table sub_ladm_app_click_day_cnt; 7 8 -- 打印表头 9 set hive.cli.print.header=true; 10 set hive.cli.print.row.to.vertical=true
hive命令参数
我是明星的专栏
10-17 4760
$HIVE_HOME/bin/hive是一个shell工具，它可以用来运行于交互或者批处理方式配置单元查询，语法如下： 1. -i filename 执行脚本文件filename，会在终端上显示mapreduce的进度，执行完毕后，最后把查询结果输出到终端上，然后进入交互模式     eg：hive -i script.sql             1       jim    
hive参数配置手册、hive参数配置大全
04-22
非常全面的hive参数配置，总共有600多项，中文注释是用软件翻译的，勉强能看，引用请注明出处。
第4章 Hive参数配置与函数、运算符使用1
08-08
【Hive参数配置与函数、运算符使用】 在Hive中，配置参数是优化Hive性能和满足特定需求的关键步骤。Hive提供了多种客户端和命令，以适应不同的使用场景。 1. **Hive CLI（客户端）** Hive CLI是Hive的原始客户端...
hive 参数设置
01-07
命令行模式，或者说目录模式，可以使用hive 执行命令。 选项说明： 　-e : 执行短命令 　-f :  执行文件（适合脚本封装） 　-S : 安静模式，不显示MR的运行过程 　-hivevar :  用于定义hive运行时的变量替换 ，专门提供给用户自定义变量。 　-hiveconf :  用于定义hive执行时的属性，即配置参数，可覆盖hive-site.xml中配置的hive全局变量。 egg: hive -e查询： hive -S -e “use tv; select * from test;” hive -f 执行文件： hive -S -f test.hql hive -hive
hive配置参数及含义
01-18
hive配置参数及含义， 在大数据维护中对hive的优化参数的配置明细
hive 常用参数、参数优化
最新发布
weixin_46028840的博客
11-01 924
tez.runtime.io.sort.mb：设置输出排序内存大小，默认100，建议：40%*hive.tez.container.size，一般不超过2G。开启hive.vectorized.execution.enabled操作，默认是关闭状态，将一个普通的查询转化为向量化查询执行是一个Hive 特性。Hive.exec.parallel.thread.num：默认8，最多并行的作业数量，即1个sql最多允许8个mr或tez作业并行。
hive常见参数
RJF20210928的博客
05-29 711
注意：因为在yarn container这种模式下，map/reduce task是运行在Container之中的，所以上面提到的mapreduce.map(reduce).memory.mb大小都大于mapreduce.map(reduce).java.opts值的大小。set hive.exec.max.dynamic.partitions.pernode=1000 -- 一个 mapreduce job所允许的最大的动态分区的个数。AST：输出查询的抽象语法树。-- 表示同时运行的job的个数。
设置hive 参数
小憨憨的博客
02-28 1345
set hive.execution.engine=mr; set mapreduce.map.memory.mb=4096; set mapreduce.reduce.memory.mb=8192; set hive.support.concurrency=false; set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.par
Hive 配置参数大全
西西弗斯的石头的博客
05-20 1050
hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置； hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为python hive.exec.plan：hive执行计划的文件路径，默认是null，会在运行时自动设置，形如hdfs://xxxx/xxx/xx； hive.exec.scratchdir：hive用
Hive 常用参数整理
BITDDD小栈
11-17 4589
一.引言 上周遇到了大表join大表的情况，调试了一天终于调通，期间发现对hive设置参数十分不熟悉才会导致调优花了一天时间，特此整理常用参数供以后参考。 二.场景 1.Hive 动态分区 set hive.exec.dynamic.partition.mode=nonstrict; 动态分区的好处是可以根据表字段自动将数据加入到指定分区，相比于写死固定分区更加便捷。以下实例基于your_table是单分区表。 原始分区示例: hive -e " insert overwrite tab.
Hive参数配置详解：驱动、编译与数据格式
Hive参数配置是Hive中一个重要的组成部分，它允许用户在执行Hive SQL操作时自定义行为和优化性能。本文档主要介绍了几个关键的Hive参数及其使用方法： 1. **显示/修改变量值**: Hive支持两种类型的变量：`hivevar`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值