Max block location exceeded for split

最新推荐文章于 2022-07-28 09:53:56 发布
最新推荐文章于 2022-07-28 09:53:56 发布
阅读量3.7k 收藏
点赞数 1
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenyi8888/article/details/8127225
版权

最近hive执行报如此的警告，然后hive进程死掉了，很长时间不运行。

通过查看日志发现有以下这样的警告信息：

2012-10-24 06:26:41,722 [Main Thread] WARN  split.JobSplitWriter (JobSplitWriter.java:writeOldSplits(161)) - Max block location exceeded for split: Paths:/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000000_0:0+531,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000001_0:0+359,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000002_0:0+478,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000003_0:0+447,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000004_0:0+580,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000005_0:0+417,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000006_0:0+632,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000007_0:0+723,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000008_0:0+449,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000009_0:0+398,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000010_0:0+382,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000011_0:0+497,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000012_0:0+230,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000013_0:0+567,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000014_0:0+387 Locations:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:; InputFormatClass: org.apache.hadoop.mapred.TextInputFormat
 splitsize: 405 maxsize: 10

 

解决方式：

hive里设置mapred.reduce.tasks参数导致。需要当心。 出现这种现象还是要多留意下。


这里纠正下错误，这里不是设置该参数导致，而是因为有一台机器安装了一个负载较大的运行软件导致。现在已经把该节点退出集群。

 

 

fish_cool
关注
专栏目录
UG\NX二次开发 多少词汇量才能无障碍阅读开发帮助
王牌飞行员_里海的博客
04-24 2119
大家都知道UFUN的帮助是英文的，有的开发者抱怨看不懂，还有的开发者为了能看懂接口说明专门学英语，那么英语学成什么程度就能无障碍阅读接口文档？我比较好奇，所以专门将UF_MODL部分的ufun函数的接口说明，提取出单词以作统计。大家猜一猜无障碍阅读UF_MODL部分的内容，需要多少词汇量储备呢？
Elasticsearch 7.x版本重大改变（Breaking changes in 7.x）
withlw
09-17 6320
Breaking changes in 7.0 This section discusses the changes that you need to be aware of when migrating your application to Elasticsearch 7.0. 本部分讨论将应用程序迁移到Elasticsearch 7.0时需要注意的更改。 Indices created before 7.0 Elasticsearch 7.0 can read indices created in v
split.JobSplitWriter: Max block location exceeded for split
Islotus
10-26 2251
问题如下： 17/10/26 16:33:46 WARN split.JobSplitWriter: Max block location exceeded for split: hdfs://youjun/input/file2:0+23 splitsize: 13 maxsize: 10 参考如下： Issue: Max block location exceeded for s
Sqoop导入导出时数据内存溢出
zcb_data的博客
07-28 683
Sqoop导入导出时数据内存溢出。
MapReduce源码分析之JobSplitWriter
weixin_34408624的博客
04-21 188
JobSplitWriter被作业客户端用于写分片相关文件，包括分片数据文件job.split和分片元数据信息文件job.splitmetainfo。它有两个静态成员变量，如下： // 分片版本，当前默认为1 private static final int splitVersion = JobSplit.META_SPLIT...
sqoop导出数据时遇到的报错和解决办法
maximiliansheng的专栏
05-24 4308
1. sqoop 导出数据到mysql报警告 WARN split.JobSplitWriter: Max block location exceeded for split 编辑 mapred-site.xml，添加： <property> <name>mapreduce.job.max.split.locations</name> &...
12C ORA 错误汇总4 ORA 02140 to ORA 04099
ugghhj的博客
11-08 3184
12C ORA 错误汇总4 ORA 02140 to ORA 04099
PC-Lint
weixin_30727835的博客
06-25 6433
This file contains the text of the FlexeLint/PC-lint error messages. It is to be used in conjunction with licensed FlexeLint/PC-lint software. Copyright (C) 1985-2008 Gimpel Software, All rights res...
sqoop hcatalog数据导出
黄州大侠的博客
06-10 2682
将分区表中的数据导入mysql 创建mysql表 create table if not exists test.test_product_id ( product_id bigint(11) comment "商品ID", product_name varchar(255) comment "商品名称", settle_price decimal(20, 2) comment "结算价格", product_main_id bigint(11) comment "主商品
mapreducer工作流程
九天的博客
05-21 421
hadoop mapreduce中对split的处理 分片: 1. 在job.waitForCompletion(true)后使用job.submit() 提交job，之后调用 submitter.submitJobInternal(Job.this, cluster); 2. 在submitJobInternal()函数中 会给job创建分片 int maps = writeSplits(j...
MapReduce V1：Job提交流程之JobClient端分析
weixin_34060299的博客
10-09 244
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop源码分析29 split和splitmetainfo
weixin_30468137的博客
05-28 106
输入文件：hdfs://server1:9000/user/admin/in/yellow.txt 1.splits formatMinSplitSize：1; minSplitSize=conf("mapred.min.split.size")：1; minSize=Math.max(formatMinSplitSize, minSplitSize)=1; maxSize=conf("m...
sqoop 使用小计
luorisheng的专栏
03-04 1013
HIVE导出空值\N ,sqoop 导入数据库中时，可能\N字符串无法转换对应类型–input-null-non-string \N –input-null-string \Nsqoop导入的时候会生成queryresult.jar–class-name jarName经常遇见的split数量不对问题，combineinputformat-D mapreduce.job.max.split.lo
Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明
医疗影像检索
04-20 9518
Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明 1、MR程序时执行时报错：    YarnRuntimeException: java.io.IOException:Split metadata size exceeded 10000000.  2、原因分析：    输入文件包括大量小文件或者文件目录，造成Sp
Sqoop 导出mysql 死锁
wd1llc38的博客
02-23 585
https://www.cnblogs.com/-courage/p/14024701.html
Dynamcis 365 导出解决方案时报错，提示不允许访问注册表
Vic的博客
06-07 648
在D365 V9开发环境导出解决方案时报错了，通过windows日志和CRM本身的日志都查询到如下截图中的错，从字面上看是系统某个修改注册表的动作被拒绝导致了报错 谷歌了一圈没发现类似的错误，但在浏览社区一篇帖子时得到启发，是不是Service Account对注册表的权限不够，打开注册表MSCRM的权限查看确实不是full control，尝试给完全控制权限，并重启服务器，再次尝试导出解决方案，问题完美解决。 ...
DWR ！初试碰到的弱智问题
12-22 2269
DWR。。。好东西啊，网上有好多介绍，这里就不多说了。我也是根据网上的例子来学习的，不过在学习的时候，碰到了很多弱智问题。列举一下。 1.$ is not defined这个问题好郁闷啊，在百度搜$,什么结果都搜不出来，也许搜索引擎不认这种符号。转念一想，和jsp里的EL表达式类似，然后就想到，它是指doucument.getElementsById()，果然，我换了以后就没有这个毛病了。但出现这
cximage 提示 CXIMAGE_MAX_MEMORY exceeded
最新发布
05-29
`CXIMAGE_MAX_MEMORY exceeded` 的错误提示表示在使用 `CxImage` 类时，当前需要的内存大小已经超过了 `CXIMAGE_MAX_MEMORY` 所定义的最大内存限制。通常情况下，这个错误提示可能是由于图像的尺寸过大或者图像数量过多导致的。 为了解决这个问题，可以尝试采用以下方法： 1. 减小图像尺寸：可以通过缩小图像尺寸来减少内存占用量。这可以通过调用 `CxImage::Resample()` 函数来实现。 2. 减少图像数量：可以尝试减少同时加载的图像数量，或者对不需要使用的图像进行释放，以释放一部分内存。 3. 增大 `CXIMAGE_MAX_MEMORY`：如果必须要处理大尺寸的图像或者大量的图像，可以考虑增大 `CXIMAGE_MAX_MEMORY` 的值。不过，需要注意不要设置得过大，以免导致内存浪费和系统崩溃等问题。 4. 使用其它图像处理库：如果以上方法无法解决问题，可以考虑使用其它图像处理库，比如 OpenCV、Magick++ 等，这些库都提供了更加灵活和高效的图像处理功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值