一、问题的发现
最近在用分布式任务powerjob的时候,发现了一个关于数组分页之后的序列化问题。事情是这样的,在我执行MapReduce模式的时候,发现了在生成子任务时报了com.esotericsoftware.kryo.kryo5.KryoException: Class cannot be created (non-static member class): java.util.ArrayList$SubList Serialization trace: outPlaceIdList 错误,意思是我的入参里的outPlaceIdList对象不能被创建。
二、问题排查
仔细看了下日志发现,好像是因为序列化的问题:
百度之后果然也有类似的问题 https://blog.csdn.net/weixin_43060346/article/details/87104010
然后排查代码,发现我的入参是直接用的Lists.partition方法分页之后的子列表,估计是这个原因,就先直接new了一个list,重新启动之后发现问题解决了
三、分析源码
所以问题显而易见就是这个list分页之后的对象不能被序列化,至于powerjob的MapReduce源码这里并没有过多深究,着重看了下Lists.partition里边是如何进行生成的:
到这里发现最终是用的subList这个方法,进入到subList看到里边的get方法其实返回的
ArrayList.this.elementData(offset + index);
是elementData对象根据分页偏移量截取的对象,而当我看到elementData对象的修饰符时,问题就看出来了:
transient修饰符,说明这个elementData对象是不能被序列化的,由此,当直接用Lists.partition方法分页的对象去序列化的时候,就会报开头提到的错。