在Spark structured streaming中读取使用kryo序列化的kafka的数据
一、 问题详细描述
1. 本文不是描述如何在spark中配置kryo序列化
2. spark中仍然使用的是java原生的序列化机制
3. kafka存储的数据是使用kryo序列化的,也可以按照类似的方法去自定义反序列化
二、文件描述
(1)kafka存储的数据:VideoEvent
(2)反序列化类: VideoEventDataKryoDeSerializer
(3)spark读取kafka的数据并且进行反序列化:ReadPhotoKryo
三、使用目的
减少数据的存储量,之前使用的是json格式序列
原创
2020-07-30 01:19:05 ·
624 阅读 ·
0 评论