- 博客(3)
- 收藏
- 关注
RSS订阅
原创 spark启动不了
在Windows上的eclipse运行spark代码，但是根本启动不了，以前跑程序没问题，突然出现的问题，请各位大佬帮忙看看，下面是日志情况：Using Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties19/04/16 17:11:48 INFO SparkContext: Running Spa...
2019-04-16 17:13:05
28666
原创 求助帖：我在spark的structured streaming进行流计算，想要将每个批次的结果自定义写入hdfs文件中，但是报错无法序列化。
求助帖：我在spark的structured streaming进行流计算，想要将每个批次的结果自定义写入hdfs文件中，但是报错无法序列化。自定义写文件代码如下：val query = sessionUpdates.writeStream.outputMode(“update”).foreach(new ForeachWriter[NewSessionUpdate] { var batchCount = 0 val conf = new Configuration() conf.set("
2021-03-16 10:24:27
468
1
原创 请问Spark Structured Streaming如何得到上一批次的处理结果
我用Spark Structured Streaming处理文件流，但是处理第二批文件流时需要用到第一批的处理结果，但是我的Spark Structured Streaming只能处理当前批次，不能得到上一批次的结果，请问有没有人有过相关经验，请讲解一下，谢谢啦！...
2019-04-26 08:59:34
669
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人