![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
shirukai
路漫漫其修远兮
展开
-
kafka自定义消息序列化和反序列化方式
kafka自定义消息序列化和反序列化方式 版本说明:kafka版本:kafka_2.12-2.0.0.tgzpom依赖:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</原创 2018-08-28 17:59:11 · 35481 阅读 · 11 评论 -
SparkStreaming 读写Kafka
Spark/Streaming 读写Kafka版本说明kafka:2.12-2.0.0spark:<spark.version>2.3.0</spark.version>scala依赖包:<dependency> <groupId>org.apache.spark</groupId> <artifa...原创 2018-12-22 16:52:56 · 904 阅读 · 0 评论 -
SparkStreaming 解析Kafka JSON格式数据
SparkStreaming 解析Kafka JSON格式数据项目记录:在项目中,SparkStreaming整合Kafka时,通常Kafka发送的数据是以JSON字符串形式发送的,这里总结了五种SparkStreaming解析Kafka中JSON格式数据并转为DataFrame进行数据分析的方法。需求:将如下JSON格式的数据转成如下所示的DataFrame1 使用Python脚...原创 2018-12-22 16:53:25 · 24411 阅读 · 22 评论