spark报Error initializing SparkContext. For input string: “true““报错解决

最新推荐文章于 2024-05-21 21:41:07 发布
最新推荐文章于 2024-05-21 21:41:07 发布
阅读量1.1k 收藏
点赞数
文章标签： spark 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Closer___/article/details/122840077
版权

执行spark的spark-shell命令时报

问题原因时配置

Error initializing SparkContext.
java.lang.IllegalArgumentException: For input string: "true""
        at scala.collection.immutable.StringLike$class.parseBoolean(StringLike.scala:290)
        at scala.collection.immutable.StringLike$class.toBoolean(StringLike.scala:260)

文件中多啦一个引号

Closer___
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark-assembly linux下运行local模式缺失包
04-12
spark streaming job 打成jar包，在linux系统下运行local模式，报错： 18/04/12 14:14:18 ERROR SparkContext: Error initializing SparkContext. com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version' at com.typesafe.config.impl.SimpleConfig.findKey(SimpleConfig.java:124) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:145) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:151) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:159) at com.typesafe.config.impl.SimpleConfig.find(SimpleConfig.java:164) at com.typesafe.config.impl.SimpleConfig.getString(SimpleConfig.java:206) at akka.actor.ActorSystem$Settings.<init>(ActorSystem.scala:169) at akka.actor.ActorSystemImpl.<init>(ActorSystem.scala:505) at akka.actor.ActorSystem$.apply(ActorSystem.scala:142) at akka.actor.ActorSystem$.apply(ActorSystem.scala:119) at org.apache.spark.util.AkkaUtils$.org$apache$spark$util$AkkaUtils$$doCreateActorSystem(AkkaUtils.scala:121) at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:53) at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:52) 补全spark-assembly jar包解决问题。 java -cp ./wd:./spark-assembly.jar:./spark-streaming-job.jar job-main
An internal error occurred during: java.lang.NullPointerException
07-27
实用开发工具Myeclipse，在启动tomcat时，不间断的会弹出 An internal error occurred during: "Calculating completion proposals...". java.lang.NullPointerException的错误对话框！
spark java.lang.ExceptionInInitializerError 累加器使用
qq_41875667的博客
07-29 1296
记一次spark 累加器使用记录 正确代码： object SparkTest { val sparkConf: SparkConf = new SparkConf() .setMaster("local[3]") .setAppName("Test") val session: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate() val longAccumulator:
For input String "true"
anmoyyh的博客
08-10 4806
For input String "true" 这个错误呢是转换错误,,,有可能是在String转int的时候出现的, 我这里呢是因为主键id返回后台的数据为true,然后我去转它为int 当然会报错的, 我这里呢是我在页面展示列表的时候吧主键设为了: {field: 'id',checkbox: true}, 所以这里改下就好了 { checkbox: true }
String类
weixin_39092101的博客
06-09 250
int型数据可以用“==”来判断值是否相同 ，相同返回ture ，不同返回false； String类在使用“==”判断时不同；每个String类型数据有自己的栈内存用来保存标识符，堆内存中存储数据当使用“==”时判断的是两个String数据的堆内存地址是否相同，而不是判断二者堆内存中存储的内容是否相同。例如下列代码：package project;public class StringDemo
Spark启动失败 Error initializing SparkContext | FileNotFoundException
qq_56335560的博客
04-12 1400
在启动spark-shell时，无法初始化，hdfs上没有对应的日志存放目录，但是hdfs陷入安全模式无法关闭，只能删除所有集群上的所有数据和日志，格式化hdfs，手动创建spark要求的目录。
解决：java.lang.IllegalArgumentException: String input must not be null
qq_42449963的博客
01-13 1267
异常信息： Exception in thread "main" java.lang.IllegalArgumentException: String input must not be null at org.jsoup.helper.Validate.notNull(Validate.java:26) at org.jsoup.parser.TreeBuilder.initialiseParse(TreeBuilder.java:29) at org.jsoup.parser.TreeBuilde
Exception in thread “main“ java.lang.IllegalArgumentException: For input string: “xxx“
JIE的博客 --- moon_coder
03-03 333
检查 xxx 字符串上下文的语句，改正语法，成功解决。在代码运行时，xxx 字符串附近发生语法错误！
华为OD机试C、D卷 - 文本统计分析（Java & JS & Python & C & C++）
热门推荐
03-21 10万+
有一个文件，包含以一定规则写作的文本，请统计文件中包含的文本数量。 规则如下： 文本以 ";" 分隔，最后一条可以没有 ";" ，但空文本不能算语句，比如 COMMAND A; ; 只能算一条语句。 注意，无字符/空白字符/制表符都算作"空"文本； 文本可以跨行，比如下面，是一条文本，而不是三条 COMMAND A AND COMMAND B; 文本支持字符串，字符串为成对的单引号(')或者成对的双引号(")，字符串可能出现用转义字符(\)处理的单双引号("your inp
解决Java运行时错误For input string:问题
沛哥儿的专栏
05-25 3万+
其实问题都比较简单，只要你多花点功夫去研究原理。你发现其实都差不多的。没有什么东西是很难的
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
20/02/20 19:52:17 ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the...
解决java执行cmd命令调用ffmpeg报错Concat error - No such filter '[0,0]'问题
08-24
主要介绍了java执行cmd命令，调用ffmpeg报错Concat error - No such filter '[0,0]'解决方法,本文通过截图实例代码说明给大家介绍的非常详细，对大家的工作或学习有一定的参考借鉴价值，需要的朋友可以参考下
libcups.so.2
08-28
解决libcups.so.2缺失问题，rpm格式及其依赖，在centos上测试成功
Spark常见问题汇总
aiwode1234的专栏
05-16 1115
注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了1、Operation category READ is not supported in state
《Java实战开发》出现For input String: ““ 异常
crazy王的学习
11-09 703
出现这种异常，一般来说就是在代码参数类型转换相关得地方出错，直接去代码里找参数类型转换得地方，看是否有参数为空或空字符穿没有校验。 比如： Ingeger.valueOf(param);
深入理解java.lang.IllegalArgumentException异常
博客
08-02 3万+
IllegalArgumentException是Java的一个标准异常类，继承自RuntimeException类。当方法接收到一个非法或不合理的参数时，就会抛出该异常。本篇博客深入探讨了java.lang.IllegalArgumentException异常的相关知识。我们了解了异常的概念和分类，以及异常处理机制。然后，重点介绍了IllegalArgumentException异常的定义、继承关系和触发条件。接着，我们讨论了该异常在方法参数校验、构造方法参数校验和API调用参数校验等常见场景中的应用。
已解决java.lang.IllegalArgumentException异常的正确解决方法，亲测有效！！！
小明的Java问道之路
01-07 2万+
IllegalArgumentException是由于传递给方法的参数非法或不正确而引发的，要解决这个问题，需要在调用方法前验证输入，并在方法内部使用断言来检查参数的有效性。
Spark搭建 Standalone模式详细步骤
最新发布
weixin_52134189的博客
05-21 693
Spark搭建 Standalone模式详细步骤
ERROR spark.SparkContext: Error initializing SparkContext.
11-27
这个错误是由于SparkContext初始化时出现问题导致的。具体来说，第一个引用中的错误是因为系统内存不足，需要增加堆大小。而第二个引用中的错误是因为所需的执行器内存超过了集群的最大阈值。需要检查'yarn.scheduler.maximum-allocation-mb'和'yarn.nodemanager.resource.memory-mb'的值是否正确设置。 解决这个问题的方法取决于具体的情况。如果是第一个引用中的问题，可以通过增加堆大小来解决。可以通过以下方式增加堆大小： ```shell spark-submit --conf spark.driver.memory=4g --conf spark.executor.memory=4g your_app.py ``` 这将把驱动程序和执行器的内存限制都设置为4GB。如果需要更多的内存，可以相应地增加这些值。 如果是第二个引用中的问题，需要检查集群的配置。可以通过以下方式检查和修改配置： 1. 检查'yarn.scheduler.maximum-allocation-mb'和'yarn.nodemanager.resource.memory-mb'的值是否正确设置。可以使用以下命令检查： ```shell yarn getconf -confKey yarn.scheduler.maximum-allocation-mb yarn getconf -confKey yarn.nodemanager.resource.memory-mb ``` 2. 如果这些值太低，可以通过以下方式修改它们： ```shell yarn-site.xml <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> </property> ``` 这将把'yarn.scheduler.maximum-allocation-mb'和'yarn.nodemanager.resource.memory-mb'的值都设置为8192MB。如果需要更多的内存，可以相应地增加这些值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值