记录spark程序启动时报错修复过程
1、问题:
spark程序挂掉几天后重启报错如下信息java.lang.IllegalArgumentException: requirement failed: numRecords must not be negative
2、解决方案
未尝试方案1,结合环境用方案2解决
(方案1)在网上查询有说报错的原因是:删除已经使用过的kafka topic,然后新建同名topic。可以通过把topic名字换一下解决
(方案2)由于本环境offset是存储在hbase里的,有专门的offset表维护,故登录hbase,找到对应的offset表进行清空
命令:truncate 'spark:sparkoffset’
清空后重启可以正常运行
3、分析
出现这种情况是程序挂了后没有及时同步offset到hbase,导致kafka的offset和hbase存储的offset已经对应不上,hbase存储的offset已经过期了,故情况里面的offset,重新消费kafka数据,这种方式有重复消费的风险,对数据精密性要求高的谨慎操作