hive查询count(*)出错tez.runtime.io.sort.mb及其解决办法

最新推荐文章于 2023-12-10 19:46:23 发布
最新推荐文章于 2023-12-10 19:46:23 发布
阅读量4.4k 收藏 2
点赞数 2
分类专栏： 大数据 文章标签： 大数据 hive Tez
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31598113/article/details/79670105
版权
在Hive使用Tez执行count(*)操作时遇到IllegalArgumentException，错误提示tez.runtime.io.sort.mb设置值1351MB超出可用内存526MB。解决方法包括在Hive客户端调整该参数值低于526MB或在Ambari中全局降低tez.runtime.io.sort.mb配置，确保不超过任务可用内存。
摘要由CSDN通过智能技术生成

【运行环境】

hadoop-2.7.3  hive-1.2.1  Tez-0.7.0

有关Apache Tez的简介：

Tez is the next generation Hadoop Query Processing framework written on top of YARN. 它是一款基于YARN的新一代数据处理和分析框架，亮点：支持DAG调度作业，它能把多个有依赖的作业转换成一个作业，所以能大幅提升DAG性能，从而提升M-R查询性能。这一点可以从我下面的作业截图看出，count(*)查询9千万条数据在12秒内就得出结果


【报错现象】

在hive shell中通过tez查询count(*)时发生错误IllegalArgu

最低0.47元/天 解锁文章
宝罗Paul
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive进行count(*)查询报错
11-21 4872
使用Hive进行count(*)查询时报错，错误信息如下： chmod: changing permissions of 'hdfs://master138:9000/tmp/hive/anonymous/e013b757-aeee-4017-b0a8-d274d2fafee9/hive_2015-11-20_18-41-46_506_1447956695788790313-3/-mr-100...
hive运行引擎Tez出现错误
qq_20790447的博客
05-09 1744
运行hive之后出现以下问题， Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not init
Tez安装与使用（与hive配合使用）及lzo.jar报错错误解决
C_time的博客
09-17 2327
1 tez的概览 1.1 tez介绍 1.1.1 介绍 tez是一个apache的开源项目，意在构建一个应用框架，能通过复杂任务的DAG来处理数据。它是基于当前的hadoop yarn之上，换句话就是yarn为其提供资源。 tez主要的两个设计目标: 增强终端用户使用: 灵活的数据流定义API 灵活的输入输出运行时模型(强调处理模型) 数据类型无关 简洁部署 高性能执行: 通过mapreduce提...
Hive select count(*)计数语句报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exe
weixin_43828710的博客
08-15 3110
@Hive select count(*)计数语句报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 环境及报错现象 使用的hadoop是高可用集群。 自己写的MapReduce程序可以成功，但在Hive上执行select count(*)报错 解决办法 原因：HA机制下yarn-site.xml配置不完整。 解决办法：在yarn-site.xml中添加如下配置，重启hado
【HIVE】count(*) sum() 报错：Error during job, obtaining debugging information...
最新发布
奥利文儿的博客
12-10 856
在命令行中看不到具体的错误信息，需要在Hadoop YARN平台可视化web界面找到日志记录。在HIVE查询数据过程中，出现count()、sum()的汇总函数时，查询失败，报以下错误。
hive count（*）from table报错解决办法发
qq_40215763的博客
04-27 1561
我的环境是： centos_7.05的操作系统 hadoop-2.8.3 hive-1.2.1 jdk-1.8 配置集群用的内网和外网结合，关键就在这里，阿里云的公网ip和私网ip相结合太坑了，切记别混搭。 来看启动集群后启动hive的hiverserver2的客户端后，测试连接hive； 在master的主节点上 在hive/bin/./hiveserver2 复制master的新会话窗口...
hive简单使用共13页.pdf.zip
10-30
8. **Hive与其他组件的交互**：如HBase、Spark、Tez等，Hive可以通过Hive-HBase连接器与HBase集成，利用Spark作为执行引擎提升计算性能，或者使用Tez替代MapReduce来提高查询效率。 9. **Hive数据倾斜问题**：当...
apache-hive-2.1.0-bin.tar.zip
05-04
Apache Hive 是一个基于 Hadoop 的数据仓库工具，用于查询、管理和处理大数据集。Hive 提供了一种结构化的数据模型，使得非结构化的海量数据可以通过SQL-like 的查询语言（HQL，Hive Query Language）进行分析。在...
hive数据类型共6页.pdf.zip
10-30
本资料“hive数据类型共6页.pdf”可能详细介绍了Hive中的各种数据类型及其使用方法。以下是关于Hive数据类型的详细解释： 1. **基本数据类型**： - **STRING**：用于存储字符串，可以包含字母、数字和特殊字符。 ...
pig-on-tez or hive-on-tez 报错
辉子的博客
09-16 1190
当pig-0.15或者hive-1.1-cdh5.4.0使用tez运行是 会报如下的错误，发现申请内存为-1，所以报错 发现无论是pig还是hive的相关默认配置如下 pig的 mapreduce.map.memory.mb=-1 mapreduce.reduce.memory.mb=-1 hive的 mapreduce.map.memory.mb=
tez引擎跑hive 语句报错问题解决
shileilei1988的博客
07-19 1105
tez引擎跑hive 语句报错问题解决 现象： Container [pid=151320,containerID=***] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB of 5.1 GB virtual memory used. Killing container. 很明显，容器物理内存爆了。 我先设置了hive.tez.container.si
hive on tez踩坑记2-hive0.14 on tez
weixin_34405557的博客
01-14 456
在测试hive0.14.0 on tez时遇到的问题比较多：1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时，首先遇到下面的问题java.lang.NoSuchMethodError:org.apache.tez.dag.api.client.Progress.getFailedTaskAttemptCount()I atorg....
时间不同步问题导致hive 只能select* 不能select count（*）select 某个字段 ，是因
SpartacusG的专栏
07-24 3951
时间不同步问题导致hive 只能select* 不能select count（*）select 某个字段 ，是因为select *不调用mr select单个字段或者count（*）调用mr 时间不同步问题导致hive 只能select* 不能select count（*）select 某个字段 ，是因为select *不调用mr select单个字段或者count（*）调用mr
记一次hive查询报错解决 No enum constant org.apache.parquet.hadoop.metadata.CompressionCodecName.LZOP
qq_41018861的博客
07-13 1418
在正常开发中建表进行数据插入测试，突然报错报错如下。
hive不能count,inner
蘑菇丁的专栏
08-03 2193
最近折腾hive和impala集成sentry后,tableas连接impala 后join一直报错如下： 与 Cloudera Hadoop 数据源“x___sql___ (product)”通信时出错。 连接错误: Tableau 无法连接到数据源。 [Cloudera][Hardy] (35) Error from server: error code: '2' error message...
ccah-500 第9题 How would you tune your io.sort.mb value to achieve maximum memory to disk I/O ratio?
Show something
06-01 1111
9.You observed that the number of spilled records from Map tasks far exceeds the number of map output records. Your child heap size is 1GB and your io.sort.mb value is set to 1000MB. How would you t
优化tez引擎-资源限制
小东的博客
11-08 4669
1. 参数 set tez.am.resource.memory.mb=4096; // 与yarn.scheduler.minimum-allocate-mb YARN最小容器大小相同 set tez.runtime.io.sort.mb=1638; // hive.tez.container.size的40% set hive.auto.con
hive踩坑记录之报错：Java heap space
weixin_44761855的博客
03-12 2173
分享一个hive的 踩坑记录，执行 需要跑MapReduce任务的语句时，报错Error: Java heap space（JAVA 堆空间不足），排查该错误是由于hive任务所使用的内存数量造成的 解决办法： 1、第一个方案 在hive-env.sh中进行更改： 添加 export HADOOP_HEAPSIZE=4096这个属性 2、第二个方案 设置 set io.sort.mb=10; 默...
hadoop 配置项的调优
hysfwjr的专栏
07-07 806
dfs.block.size   决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用), mapred.map.tasks.speculative.execution=true  mapred.reduce.tasks.speculative.execution=true 这是两个推测式执行的配置项
return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask.
11-21
根据提供的引用，return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask 错误通常是由于Tez任务执行失败引起的。这可能是由于以下原因之一： 1.资源不足：Tez任务需要足够的资源才能成功执行。如果资源...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值