Hive设置转换任务相关配置参数

最新推荐文章于 2024-01-04 19:03:27 发布
最新推荐文章于 2024-01-04 19:03:27 发布
阅读量831 收藏
点赞数 1
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jing_EVA/article/details/63685179
版权

hive中选择数据并不一定都只能执行MapReduce任务。

对于一些select原表的基本操作，可以通直接读出，不启动MapReduce。

参数配置：

hive.fetch.task.conversion

minimal/none/more


hive.fetch.task.conversion.threshold

超过该大小时，查询转换成Fetch任务。


参考：Hive中的FetchTask任务

taiyangdixiasj
关注
(02)Hive SQL编译成MapReduce任务的过程
爱吃辣条的博客
02-12 2677
Hive SQL编译成MapReduce的过程
Hive任务调优
11-08 436
#通过调整max可以起到调整map数，减小max可以增加map数，增大max可以减少map数。 #直接调整mapred.map.tasks这个参数是没有效果的。 set mapred.min/max.split.size=xxxx; 数据的最小分割单元大小min的默认值是1B,max的默认值是256MB,单位为B set mapred.min.split.size.per.node=xxxx; ...
HIVE 设置任务名称
05-05 5011
set mapred.job.name = my_job_name
hive 指定job name及其效果
那又怎样？的博客
03-06 7301
1.指定job name的方式 1 set mapred.job.name=jobname 2 hive --hiveconf mapred.job.name=jobname 2.效果 如果脚本中有多个sql语句，那么你设定jobname后，所有的sql生成的job都会有同一个名字，亲测 ...
hive关于fetch.task优化
qq_36470475的博客
12-24 713
hql默认是需要转成mapreduce任务去执行的，但是一些场景启动mapreduce，比较消耗资源而且时间很慢，所以hive对于查询做了优化，有些查询是可以不启动mapredce去执行的，即按照fetch task 的方式去执行，实际上就是单进程的文件处理，输出结果 在hive-site.xml中有三个fetch task相关的值，也可以在客户端直接执行 set … hive.fetch.task.conversion hive.fetch.task.conversion.threshold #在输入大小
hive参数配置及任务优化
weixin_30945039的博客
04-22 347
一、hive常用参数 0.常用参数 --@Name: --@Description: --@Type:全量加载 --@Author:--- --@CreateDate: --@Target: --@SourceTable: --@ModifyBy: --@ModifyDate: --@ModifyDesc: --@Copyright --设置作业名 set ma...
Hive脚本任务参数优化配置.doc
最新发布
03-05
### Hive脚本任务参数优化配置详解 #### 一、概述 在大数据处理场景中，Apache Hive作为一款广泛使用的数据仓库工具，提供了SQL查询接口来处理存储在Hadoop文件系统中的结构化数据。为了提高Hive查询性能，合理的...
Hive 配置参数大全
西西弗斯的石头的博客
05-20 1065
hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置； hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为python hive.exec.plan：hive执行计划的文件路径，默认是null，会在运行时自动设置，形如hdfs://xxxx/xxx/xx； hive.exec.scratchdir：hive用
hive on mr参数配置
weiha666的博客
12-23 2389
MR参数： set mapreduce.job.queuename=queue_name; #设置作业提交队列 set hive.execution.engine=mr; #设置计算引擎 set mapreduce.map.memory.mb=4096; #设置map内存 set mapreduce...
Hive任务提交流程.pdf
09-21
- **准备工作**：ExecDriver会进行一系列的预处理工作，比如设置HDFS路径、设置MapReduce作业的配置参数等。 - **MapReduce任务参数**：这些参数包括JobConf对象，它包含了MapReduce作业的所有配置，如输入输出...
Hive之set参数大全-4
m0_49620121的博客
01-04 1095
FETCH。
Hive【基础知识 04】【Hive 属性配置的三种方式及配置的优先级说明】
シ風
08-05 1518
1. 方式一【配置文件】 使用配置文件指定的配置是永久有效的，Hive 有以下三个可选的配置文件： hive-site.xml ：Hive 的主要配置文件； hivemetastore-site.xml： 关于元数据的配置； hiveserver2-site.xml：关于 HiveServer2 的配置。 示例如下，在 hive-site.xml 配置 hive.exec.scratchdir 【这个目录是hdfs系统的】： <property> <name>hive.ex
Hive参数与性能调优
weixin_45017098的博客
04-27 1095
在使用Hive时，合理的参数设置和性能调优能够提高查询效率和减少资源消耗。同时，数据分区、数据压缩、合理使用聚合函数、索引和避免全表扫描等方法也是优化Hive性能的重要手段。在实际使用中，应该根据具体业务需求和数据规模选择合适的参数和优化方法，以达到最佳的性能表现。
大数据篇--Hive调优
小强签名设计 的博客
05-24 2339
文章目录一、参数调优1.严格模式：2.Fetch Task功能：3.reduce个数控制：4.map join：二、语法层面调优1.order by和sort by：2.cluster by和distribute by：3.执行计划Explain： 一、参数调优 1.严格模式：   在hive里面可以通过严格模式防止用户执行那些可能产生意想不到的查询,从而保护hive的集群。在严格模式下，用户在运行如下query的时候会报错： 分区表的查询没有使用分区字段来限制 使用了order by 但没有使用limi
hive 的map reduce的设置
haramshen的博客
09-20 1297
1.set dos.block.size:查看集群设置的文件大小（该参数不能自定义修改）    134217728L（128兆的意思） 2.map执行前合并小文件，减少map数    set mapred.max.split.size=100000000；表示100M    set mapred.min.split.size.per.node=100000000
优化 hive.fetch.task.conversion
张伟的专栏
02-11 478
我们在执行hive代码的时候，一条简单的命令大部分都会转换成为mr代码在后台执行，但是有时候我们仅仅只是想获取一部分数据而已，仅仅是获取数据，还需要转化成为mr去执行吗？那个也太浪费时间和内存啦，所以有一个hive的配置如下图所示： 我们会发现这个属性所对应着两种模式，minimal和more。 在minimal下，我们执行select * ，limit...
Hive笔记之Fetch Task
weixin_30457551的博客
08-06 222
在使用Hive的时候，有时候只是想取表中某个分区的前几条的记录看下数据格式，比如一个很常用的查询：select * from foo where partition_column=bar limit 10; 这种对数据基本没什么要求，随便来点就行，既然如此为什么不直接读取本地存储的数据作为结果集呢。 Hive命令都要转换为MapReduce任务去执行，但是因为启动MapReduc...
Hive 优化参数
热门推荐
知识的力量
03-13 1万+
HIVE优化参数 hive> set; _hive.hdfs.session.path=/tmp/hive/root/bd4f450f-2f3f-460d-8539-5ee573701e59 _hive.local.session.path=/tmp/root/bd4f450f-2f3f-460d-8539-5ee573701e59 _hive.tmp_table_space=/t
Hive参数详解：优化性能与配置关键
Hive参数配置详解是大数据分析和处理中至关重要的环节，它直接影响着查询性能、资源利用以及数据处理效率。以下是关于Hive中一些关键参数的详细介绍： 1. **hive.exec.mode.local.auto**：此参数决定Hive是否在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值