java版本的getorcreate_spark getOrCreate 异常处理

java.io.IOException: java.lang.ClassCastException: cannot assign instance of App$$anonfun$1 to field org.apache.spark.streaming.dstream.MappedDStream.org$apache$spark$streaming$dstream$MappedDStream$$mapFunc of type scala.Function1 in instance of org.apache.spark.streaming.dstream.MappedDStream

at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1163)

at org.apache.spark.streaming.DStreamGraph.readObject(DStreamGraph.scala:188)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

at java.lang.reflect.Method.invoke(Method.java:606)

at java.io.ObjectStreamClass.invokeReadObject(ObjectStreamClass.java:1017)

原来没有用getOrCreate创建的checkpoint,在换用了getOrCreate后,出现这个错误。删除原有的checkpoint后,此问题解决。

程序要从一开始就要建立起用getOrCreate的习惯。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,Dataset是Spark 2.0引入的一个新的API,它是强类型的数据集合,旨在弥补DataFrame和RDD之间的差距,同时提供类型安全和面向对象的编程模型。 与DataFrame不同,Dataset不仅提供了类似于SQL的查询功能,还提供了更多的面向对象的API,因此更适合于开发人员进行复杂的数据分析和操作。 Dataset还具有更好的类型安全性,因为它们是强类型的,这意味着编译器可以在编译时捕获类型不匹配的错误,而不是在运行时抛出异常。 在使用Dataset时,我们可以使用Scala或Java编写类型安全的代码,并在运行时获得更好的性能。 下面是一个简单的Java示例,演示如何使用Dataset: ``` // 创建一个SparkSession对象 SparkSession spark = SparkSession.builder() .appName("Java Dataset Example") .master("local") .getOrCreate(); // 读取一个CSV文件,并将其转换为Dataset Dataset<Row> df = spark.read().format("csv") .option("header", "true") .load("path/to/file.csv"); // 将Dataset转换为类型安全的Java对象 Encoder<MyObject> myObjectEncoder = Encoders.bean(MyObject.class); Dataset<MyObject> myObjects = df.as(myObjectEncoder); // 进行复杂的操作 Dataset<MyObject> filtered = myObjects.filter(myObject -> myObject.getAge() > 18); // 将结果保存到文件中 filtered.write().format("csv").save("path/to/output"); ``` 在这个示例中,我们首先读取一个CSV文件,并将其转换为DataFrame。然后,我们使用Encoder将DataFrame转换为类型安全的Java对象。接着,我们进行过滤操作,只选择年龄大于18岁的对象,并将结果保存到文件中。 希望这个简单的示例可以帮助你了解如何使用Dataset进行数据操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值