java spark-streaming java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartitionsRD

最新推荐文章于 2024-05-08 21:47:10 发布
最新推荐文章于 2024-05-08 21:47:10 发布
阅读量538 收藏
点赞数
分类专栏： Java 流批处理 文章标签： maven java spark spark-streaming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41049440/article/details/119612692
版权

再次吐槽，spark的文档对初学者真的非常不友好。

同时下面的错误大概率也是可以解决掉的。

java.io.IOException: 远程主机强迫关闭了一个现有的连接

问题描述

在本地idea执行spark streaming相关代码时，

setMaster为“local[2]”时，我是可以正常执行的，但是当我在 StandAlone 模式下启动本地集群的 setMaster 时，就会出现这个错误。

然后我分别根据不同的搜索结果，设置jars等，甚至看到官网关于此问题的两个issue

https://issues.apache.org/jira/browse/SPARK-9219
https://issues.apache.org/jira/browse/SPARK-18075

然而spark的开发者根本不认为这个是一个错误，只认为summit才是唯一支持的集群执行方式。

原因和解决

后来我发现jar包非常大，大概10M，但功能代码其实只有一个demo，不应该这么大。

于是认为，jar包的打包方式是有问题的，是需要assembly方式打包才行，更换方式打包后只有10k。

具体的使用方式参考：

https://segmentfault.com/a/1190000016237395

临地
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
java rdd转化为strign_在Spark JavaRDD转换中使用Serializable lambda
weixin_33681561的博客
02-24 170
我想了解以下代码.//文件：LambdaTest.javapackage test;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.io.Serializable;impor...
mappartitions java,Apache Spark：在Java中有效使用mapPartitions
weixin_35851515的博客
02-16 441
In the currently early-release textbook titled High Performance Spark, the developers of Spark note that:To allow Spark the flexibility to spill some recordsto disk, it is important to represent your ...
Unable to make field private final java.lang.Class java.lang.invoke.SerializedLambda.capturingClass
最新发布
2301_76599104的博客
05-08 231
原因是是Mybatisplus和Java的版本兼容出现了问题。这个错误是因为在 Java 9 及之后的版本中，模块化系统 (Module System) 引入了访问限制，导致无法访问 java.lang.invoke.SerializedLambda 的私有字段 capturingClass。可以直接升级mybatisplus的版本来解决这个问题。把下面这几句话写进去，意思是给予访问权限。然后保存配置，重启服务。
Mybatisplus报错 field private final java.lang.Class java.lang.invoke.SerializedLambda.capturingClass
Obscurede的博客
08-20 5440
这个错误是因为在 Java 9 及之后的版本中，模块化系统 (Module System) 引入了访问限制，导致无法访问 java.lang.invoke.SerializedLambda 的私有字段 capturingClass。其实是Mybatisplus和Java的版本兼容出现了问题。Java8以上的版本可以直接升级到mybatisplus的。所以可以通过升级Mybatisplus的版本来解决。
cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartiti
微电子学与固体电子学-俞驰
08-06 4431
碰到这么个问题: 20/08/06 10:26:45 WARN TaskSetManager: Lost task 1.0 in stage 1.0 (TID 2, 192.168.0.103, executor 1): java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartitionsRDD.f of ty
报错Unable to make field private final java.lang.Class java.lang.invoke.SerializedLambda.capturingClas
weixin_45400132的博客
10-11 6625
报错Unable to make field private final java.lang.Class java.lang.invoke.SerializedLambda.capturingClass accessible: module java.base does not "opens java.lang.invoke" to unnamed module @7334aada
spark-streaming_2.11-1.2.0.jar
05-31
Spark 项目流 org.apache.spark/spark-streaming_2.11/1.2.0/spark-streaming_2.11-1.2.0.jar
Spark-Streaming编程指南.docx
11-15
此外，为了构建 Spark Streaming 项目，需要在构建工具（如 SBT 或 Maven）的配置文件中添加相应的依赖项，例如对于 Kafka 数据源，需要添加 `spark-streaming-kafka_2.10`。 Spark Streaming 的强大之处在于它可以...
spark-streaming_2.12-3.0.0.jar
05-31
Spark 项目流 org.apache.spark/spark-streaming_2.12/3.0.0/spark-streaming_2.12-3.0.0.jar
spark-streaming-kafka-0-8_2.11-2.4.4.jar
03-31
使用pyspark的stream操作kafka时，需要用到的jar包
spark-streaming_2.11-2.1.3-SNAPSHOT.jar
04-01
spark-streaming_2.11-2.1.3-SNAPSHOT.jar
Spark Programming Guide - Spark 2.0（Java）
03-21
该文档是spark官网上用来描述spark的java代码开发等等。
dubbo + mybatisPlus 遇到的 ‘java.lang.invode.SerializedLambda‘ culd not be instantiated
weixin_40415768的博客
08-11 1342
java.lang.invode.SerializedLambda’ culd not be instantiated 架构：dubbo + mybatisPlus 事情是这样的： 有个关注功能 在关注之后需要异步去添加关注数 @JmsListener(destination = ActiveMqConstant.ADD_FOLLOW) public void asynchronousAddFabulous(Follow follow) { Organization orga
'java.lang.invode.SerializedLambda' culd not be instantiated
SharkArmy
09-05 126
Dubbo + MybatisPlus报错'java.lang.invode.SerializedLambda' culd not be instantiated 因为：wrapper不支持也不推荐进行dubbo传递 解决方案：所以不要在 logic写 mybatisplus的语句，写在service ...
Java8的SerializedLambda详解
白石的专栏
09-12 2478
SerializedLambda 是 Lambda 表达式的序列化形式，这类存储了 Lambda 表达式的运行时信息
解决 Didn‘t find class “java.lang.invoke.SerializedLambda“
weixin_44012619的博客
07-07 804
升级android studio4.0之后发现 编译后，提升gradle版本到3.5.2，运行时发生crash。 android studio3.0已经支持了脱糖，为什么高版本会crash? 赶紧查看android studio 升级了什么功能导致的，附官方文档链接 官方文档 D8 和 R8 中的 Java 8 库脱糖 Android Studio 现在支持使用多种 Java 8 语言 API，而无需为应用设置最低 API 级别。 通过一个称为“脱糖”的过程，Android Studio 3.0 及更高版本
解决Didn't Find Class java.lang.invoke.SerializedLambda 问题
技术小黑屋
05-04 1569
问题表现 在低于 Android 7（Android Nougat）以下出现 错误的崩溃日志信息如下 1 2 3 4 5 6 7 8 9 Caused by: java.lang.ClassNotFoundException: Didn't find class "java.lang.invoke.SerializedLambda" on path: DexPathL...
整理SpringBoot整合MyBatisPlus+Dubbo+Redis+Quartz问题解决方法
一名不想学习的未来程序猿。
08-07 1547
her~~llo，我是你们的好朋友Lyle，是名梦想成为计算机大佬的男人！博客是为了记录自我的学习历程，加强记忆方便复习，如有不足之处还望多多包涵！非常欢迎大家的批评指正。这两天在学做项目，之前也学了spring、springmvc、springboot。那么现在就可以用springboot来做项目了，但是学的依然都只是皮毛，很多整合我都没有头绪，问题也很多。那么现在我就分享一下我在敲敲敲的时候遇到的掉头发问题。........................
java.lang.ClassNotFoundException: org.apache.spark.examples.streaming.KafkaWordCount
12-13
根据提供的引用[1]，这个错误通常是由于缺少相关的jar包或类路径不正确导致的。在这种情况下，您需要检查您的Spark应用程序的类路径是否正确，并确保所有必需的jar包都已正确添加。您可以尝试以下步骤来解决这个问题： 1.检查您的应用程序的类路径是否正确。您可以使用以下命令来启动您的应用程序，并确保您已正确设置了类路径： ``` spark-submit --class org.apache.spark.examples.streaming.KafkaWordCount --master yarn --deploy-mode client --executor-memory 1g --num-executors 2 /path/to/your/jarfile.jar ``` 2.检查您的应用程序是否正确地包含了所有必需的jar包。您可以使用以下命令来列出您的应用程序所需的所有jar包： ``` spark-submit --class org.apache.spark.examples.streaming.KafkaWordCount --master yarn --deploy-mode client --executor-memory 1g --num-executors 2 --jars /path/to/your/jarfile.jar,/path/to/your/other/jarfile.jar /path/to/your/jarfile.jar ``` 3.如果您的应用程序需要使用外部库，则需要将这些库添加到您的应用程序中。您可以使用以下命令将外部库添加到您的应用程序中： ``` spark-submit --class org.apache.spark.examples.streaming.KafkaWordCount --master yarn --deploy-mode client --executor-memory 1g --num-executors 2 --jars /path/to/your/jarfile.jar,/path/to/your/other/jarfile.jar --driver-class-path /path/to/your/library.jar /path/to/your/jarfile.jar ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值