split.JobSplitWriter: Max block location exceeded for split

最新推荐文章于 2021-02-23 10:37:01 发布
最新推荐文章于 2021-02-23 10:37:01 发布
阅读量2.2k 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/islotus/article/details/78358796
版权
在运行 Hive 时遇到错误：Max block location exceeded for split。问题出现在 HDFS 中的一个文件切分超出了最大块位置限制。参考链接提供了相关问题的讨论和可能的解决方案，涉及 mapreduce.job.max.split.locations 配置属性。
摘要由CSDN通过智能技术生成

问题如下：

17/10/26 16:33:46 WARN split.JobSplitWriter: Max block location exceeded for split: hdfs://youjun/input/file2:0+23 splitsize: 13 maxsize: 10

参考如下：

Issue: Max block location exceeded for split error when running hive

http://lucene.472066.n3.nabble.com/Issue-Max-block-location-exceeded-for-split-error-when-running-hive-td4090981.html

Max block location exceeded for split

http://tangjunliang.iteye.com/blog/2013744
最低0.47元/天 解锁文章
Islotus
关注
手动搭建Hadoop环境
casepk的专栏
02-02 982
  环境 namenode有2个，datanode有3个。   基础配置 环境变量 .bashrc(怕配覆盖就放.bash_profile中) ============= export PS1="[\u@\h|\w]\\$ "   #alias alias l='ls --group-directories-first --time-style=long-iso -l' a...
Max block location exceeded for split
分布式应用与服务器架构专栏
10-30 3774
最近hive执行报如此的警告，然后hive进程死掉了，很长时间不运行。 通过查看日志发现有以下这样的警告信息： 2012-10-24 06:26:41,722 [Main Thread] WARN  split.JobSplitWriter (JobSplitWriter.java:writeOldSplits(161)) - Max block location exceeded for s
MapReduce源码分析之JobSplitWriter
weixin_34408624的博客
04-21 188
JobSplitWriter被作业客户端用于写分片相关文件，包括分片数据文件job.split和分片元数据信息文件job.splitmetainfo。它有两个静态成员变量，如下： // 分片版本，当前默认为1 private static final int splitVersion = JobSplit.META_SPLIT...
sqoop导出数据时遇到的报错和解决办法
maximiliansheng的专栏
05-24 4309
1. sqoop 导出数据到mysql报警告 WARN split.JobSplitWriter: Max block location exceeded for split 编辑 mapred-site.xml，添加： <property> <name>mapreduce.job.max.split.locations</name> &...
MapReduce V1：Job提交流程之JobClient端分析
weixin_34060299的博客
10-09 245
2019独角兽企业重金招聘Python工程师标准>>> ...
12C ORA 错误汇总4 ORA 02140 to ORA 04099
ugghhj的博客
11-08 3188
12C ORA 错误汇总4 ORA 02140 to ORA 04099
vscode 设置
热门推荐
yincheng_fans的博客
09-06 1万+
语言设置中文显示 1）打开vscode工具； 2）使用快捷键组合【Ctrl+Shift+p】，在搜索框中输入“configure display language”，点击下面蓝色Configure Display Language后； python 编辑环境的是设置 在设置中输入 settings.json，并进入settings.json { “editor.fontSize”: 20, “e...
CentOS7伪分布式下 hive安装过程中遇到的问题及解决办法
BIT_SKY的博客
10-24 8218
hive 安装容易出现的错误及其解决办法
Hadoop源码分析29 split和splitmetainfo
weixin_30468137的博客
05-28 107
输入文件：hdfs://server1:9000/user/admin/in/yellow.txt 1.splits formatMinSplitSize：1; minSplitSize=conf("mapred.min.split.size")：1; minSize=Math.max(formatMinSplitSize, minSplitSize)=1; maxSize=conf("m...
sqoop导出数据到关系数据库export_fact_bi_browser_t_job.sh
weixin_30596023的博客
12-14 106
#!/bin/bash #################################### code review heguoxiu@berchina.com 20170504# System Name : 大数据智慧分析平台# Author : heguoxiu# Description : sqoop导出数据到oracle###########################...
Sqoop将输出文件设置为avro报错
BornZhu的博客
05-10 1892
Sqoop将输出文件设置为avro报错 Error: org.apache.avro.reflect.ReflectData.addLogicalTypeConversion(Lorg/apache/avro/Conversion;)V sqoop使用avro1.8.0，hadoop使用avro1.7.4或1.7.5，版本不一致 解决办法：在import后面接参数：-Dmapreduce.j
DOCKER启动失败Job for docker.service failed because the control process exited with error code. See "sys...
weixin_30408165的博客
06-19 295
[root@localhost ~]# systemctl start docker Job for docker.service failed because the control process exited with error code. See "syste mctl status docker.service" and "journalctl -xe" for details...
一次GAN项目背景下的tensorflow_datasets中mnist数据集的下载笔记
ccbrid的博客
12-12 1896
起因：帮我可爱的妹子跑一个GAN的代码（已有，github），这回是在我自己实验室的服务器上（到了展现我男友力的时候了！激动！） 我的背景：第一次 | 正式使用tensorflow | 要开始排坑了 | 我爱Pytorch | 用之前碎碎念 项目地址：https://github.com/google/compare_gan（很基础的一个GAN代码，谷歌大佬发布的） 项目论文：https:/...
Sqoop 导出mysql 死锁
wd1llc38的博客
02-23 591
https://www.cnblogs.com/-courage/p/14024701.html
java.lang.OutOfMemoryError: GC overhead limit exceeded. java.lang.OutOfMemoryError: GC overhead limit exceeded原因
最新发布
10-31
java.lang.OutOfMemoryError: GC overhead limit exceeded是Java虚拟机的一种错误提示，意味着垃圾回收器花费了过多的时间来回收垃圾，但仍然无法释放足够的空间。这通常是由于程序中存在内存泄漏或者程序需要处理大量数据时，内存不足而导致的。如果程序中存在大量的无用对象，垃圾回收器会花费大量时间来回收这些对象，从而导致OutOfMemoryError错误。解决这个问题的方法是优化程序，减少内存泄漏，或者增加Java虚拟机的内存限制。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值