在项目中使用到Spark Streaming,设置了checkpoint为HDFS的路径/hadoop/datas,但运行时报错:
java.io.InvalidClassException......:stream classdesc serialVersionUID = *, local class serialVersionUID=*,
提示序列化版本不一致,根据网上解决方案——显式指定serialVersionUID:
private static final long serialVersionUID = ***;
显式指定id后依然报错。
解决方法:
后来发现,在本地d盘也有一样的路径/hadoop/datas,这个路径下存放了checkpoint信息,推断原因为首先识别到本地的checkpoint路径,导致没有去识别HDFS的checkpoint路径。
因此,把本地路径的文件夹下删除后解决。
本文仅为个人记录,如有侵权/错误,恳请指出 (╹▽╹)…