1. 背景
Spark Structured Streaming 读取kafka,然后进行转换,最后写入到kafka中,中间运行的时候出现这个,但是清除checkpoin目录后,就可以正常使用。
错误代码:
assertion failed:concurrent update to the log .mutiple streaming jobs delete
2. 源码定位
spark 2.3版本
org.apache.spark.sql.execution.streaming.MicroBatchExecution#constructNextBatch
updateStatusMessage("Writing offsets to log")
reportTimeTaken("walCommit") {
assert(offsetLog.add(
currentBatchId