Spark本地调试遇到的 CheckPoint 序列化问题和org.apache.hadoop.nativeio.NativeIO$windows.createFilewithMode0
第一个问题Dstream checkpointing has been enabled but the Dstreams with their functions are not serializable原因是创建JSSC的函数 使用到 set参数,不能使用原生的 map.keyset因为不支持序列化 通过spark消费kafka 并且元数据通过checkpoint保存...
原创
2019-10-21 14:23:47 ·
890 阅读 ·
0 评论