sparkstreaming实时接收rabbitmq的数据(包含scala以及pyspark版本)
目录背景1:scala版本2:pyspark版本注意:以下都是采坑点RabbitMQ启用MQTT功能背景平常我们会实时监听kafka的数据,并且与流处理框架比如sparkstreaming和flink进行连接进行消费处理,这一套非常成熟且有官方工具包。但是目前有业务场景需要接收rabbitmq的数据,这就比较麻烦了,因为不想kafka有直接的kafkautils能创建流。在sspark1.6以前的版本有mqtt这个模块,里面有MQTTutils这个工具类是可以直接创建r.
原创
2020-11-12 10:39:18 ·
2202 阅读 ·
0 评论