spark 运行异常 --java.lang.IllegalArgumentException: Invalid ContainerId

最新推荐文章于 2024-08-16 03:44:55 发布
最新推荐文章于 2024-08-16 03:44:55 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 个人总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wflh323/article/details/87948485
版权
本文记录了一次在Spark1.6中遇到的提交任务失败的问题，错误表现为IllegalArgumentException，提示ContainerId无效。通过对YARN日志的分析，发现是字符串转Long类型失败，可能是由于jar包版本不匹配导致。解决方案是将代码中的Spark版本改为与集群匹配的1.6.0-cdh5.11.1，重新打包后程序运行成功。
摘要由CSDN通过智能技术生成

同事使用spark1.6提交spark程序运行一直提交执行失败，搞了很久没找到原因，找我们排查。

我在yarn上找到他失败的程序查看日志，找到如下错误日志:

2017-07-17 10:20:36,086 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster

java.lang.IllegalArgumentException: Invalid ContainerId: container_e25_1499947518031_9553_01_000001

at org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:182)

at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1361)

Caused by: java.lang.NumberFormatException: For input string: "e25"

at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)

at java.lang.Long.parseLong(Long.java:589)

最低0.47元/天 解锁文章
kevin_wf
关注
专栏目录
FAQ03【Spark】报错：java.lang.IllegalArgumentException: System memory 259522560 must be at least 47185
weixin_40612128的博客
03-17 593
一、报错如下： java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration. 二、解决办法 设置应用程序的 VM options idea的设置路径在：Run -Edit Config
Spark常见问题解决-日志和排查办法
someInNeed的博客
01-25 435
（3）查看是否任务参数设置不合理，例如executor-memory是设的大，但是--num-executors设置的很少才几十个，可以根据集群情况和业务量大小合理增大executor数，数量判断标准是一个executor的CPU core同一时刻尽量只处理一个HDFS block的数据（如128或256M），在没有设置--executor-cores等参数的情况下，默认一个executor包含一个CPU core。elasticsearch-hadoop使用的就是HTTP方式连接的ES集群。
Spark本地运行时出现java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200.
不会打球的摄影师不是好程序员
01-18 553
Spark本地运行时出现java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. 1.出现错误的代码1.出现该错误的原因2.解决方法 1.出现错误的代码 java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using
蓝易云 - 解决java.lang.IllegalArgumentException: Invalid uri由无效查询引起的问题
最新发布
高性价比服务器就选：蓝易云
08-16 413
一个标准的URI通常包括以下部分：协议（如http, https），主机名，端口号（可选），路径，以及查询字符串。注释你的代码，用意图清晰的方法名，并确保逻辑简单明了，这样在未来你或其他开发者需要时可以轻松地维护它。如果你使用特定的HTTP客户端库，它通常会为你提供内建的URI构造器或者编码工具来简化这个过程。在Java编程中，当你尝试构造或使用一个不正确格式的URI（统一资源标识符）时，可能会遭遇。在构建查询字符串时，确保没有一个键对应的值为null，这将导致非法的URI字符串。方法对所有参数进行编码。
【Spark】java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200.
懂得一千零一种,赋予你失败的方法！
07-05 2184
该问题出现原因是因为申请的不够导致无法启动。
Spark本地测试异常java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200.
金啊豆嘞的博客
04-01 374
Spark本地测试异常java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. 异常如下： ‘’’ java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option
spark模型error java.lang.IllegalArgumentException: Row length is 0
dingxiaohuang4790的博客
09-30 3067
failure: Lost task 18.3 in stage 17.0 (TID 59784,XXXXX, executor 19): java.lang.IllegalArgumentException: Row length is 0 场景是写入hbase： val put = new Put(Bytes.toBytes(line._1)) 当取出的line._1做...
spark:Exception in thread "main" java.lang.IllegalArgumentException
qq_41732361的博客
09-20 1797
报错信息： Exception in thread "main" java.lang.IllegalArgumentException: Delimiter cannot be more than one character: 44 at org.apache.spark.sql.execution.datasources.csv.CSVUtils$.toChar(CSVUtils.scal...
spark 2.X 疑难问题汇总
热门推荐
简单就好
12-29 3万+
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类 故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致 1）java版本不一致 报错：java.lang.UnsupportedClassVersionError: com/im
hadoop要点（四）
12-30 601
101、经验：kafka的comsumer groupID对于spark direct streaming无效 102、启动hadoop yarn,发现只启动了ResourceManager，没有启动NodeManager 解决方法：yarn-site.xml配置有问题，检查并规范各项配置 103、如何查看hadoop系统日志 解决方法：Hadoop 2.x中YARN系统的服务日志包
spark遇到的一些问题及其解决办法
08-21 1万+
1. ERROR org.apache.spark.storage.DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file /home/work/hdd9/yarn/ttttt-hadoop/nodemanager/usercache/s_sales/appcache/application_1597370851926_759263/blockmgr-7aa07b85-2ee1-4b1b-9eb1-62
spark任务java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
qq_44912070的博客
12-27 3393
crash：“Caused by: java.lang.RuntimeException: java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE” 这是 spark 的一个经典错误，很有可能就是 shuffle 的时候有太大的 key 或 value 造成的（当然，此 crash 也有可能涉及 序列化、反序列化、cac...
解决spark任务报错:java.lang.IllegalArgumentException: requirement failed: numRecords must not be negative
a1142939032的博客
03-08 3599
如题，这个任务的报错是有由于消费方的消费条数和注册中心的不一致导致的。解决方法仅供参考哈： 1、先到kafka集群查看消费偏移量 ./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list [集群地址:对应端口] --topic [topic名] （Pid(分区id)、Offset(当前已消费的条数)、LogSize(总条数)、Lag(未消费的条数)） 2、修改注册中心zookeeper 的偏移量 a、先进入zookeeper ...
Spark报错处理系列之：Caused by: java.lang.IllegalArgumentException: Required executor memory (18384 MB)
zhengzaifeidelushang的博客
12-16 157
Spark报错处理系列之：Caused by: java.lang.IllegalArgumentException: Required executor memory 18384 MB, offHeap memory 0 MB, overhead 1838 MB, and PySpark memory 0 MB is above the max threshold 12288 MB of this cluster! Please check the values of 'yarn.scheduler.ma
spark报错java.lang.IllegalArgumentException: Can‘t get JDBC type for array＜string＞
qq_45087487的博客
08-05 559
2、原因：hive表中元素为数组类型，mysql不支持，需要将类型转换一下就可（比如转换成字符串等等）1、使用spark任务将hive中的表数据存入到mysql中报如下错误。3、方案：进行备份之前将hive中为数组类型的数据结构进行转换一下。
Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo
Sun's Blog
06-07 733
问题 在yarn集群上提交一个spark-submit的任务，最后抛出一个异常 解决 原因： 因为在之前的项目中，在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩，这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-submit任务时，需要访问HDFS上的文件，而spark自身没有lzo的jar包所以无法找到。 方法一： 软链接到spark下的jars目录，注意自己的hadoop-lzo-0.4.20.jar的目录！ ln
Spark使用VectorAssembler时：IllegalArgumentException: Data type StringType is not supported
王某的博客
01-02 5148
我的处理顺序： 因为我在另外一个scala文件中已经将csv分割为了训练集和测试集，并且为了后续计算各个filed之间的相关系数而把所有filed的类型都已经改为了Double型，所以我就没有考虑我的数据会有问题。 所以我怀疑是文件第一行的列名在搞鬼，然后我就去除了文件的第一行：然后：org.apache.hadoop.fs.ChecksumException: Checksum er
java.lang.IllegalArgumentException: Invalid DataSource:0
06-19
`java.lang.IllegalArgumentException: Invalid DataSource:0` 是Java中一个常见的运行时异常，通常出现在试图创建或使用一个无效的数据源时。这个异常表明程序尝试使用了一个无效的或不正确的数据源参数。`DataSource`可能是JDBC（Java Database Connectivity）中的一个概念，用于连接数据库。 1. 数据源可能是一个数据库连接池，如果提供给它的参数（如URL、用户名、密码等）不正确，就会抛出此异常。 2. 在文件操作中，如果指定的文件路径不存在或者不是有效的输入/输出流，也会引发此类异常。 3. 在网络请求中，如果URL格式错误或者无法访问，也可能导致`IllegalArgumentException: Invalid DataSource`. 解决这个问题需要检查以下几个方面： - 数据源配置是否正确无误，包括数据库URL、驱动类名、凭据等。 - 文件路径是否正确，并且具有读写权限。 - 网络请求的URL是否能正常解析并且服务器响应正常。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值