spark从kafka中获取数据

最新推荐文章于 2024-01-20 11:45:17 发布

小月亮吖

最新推荐文章于 2024-01-20 11:45:17 发布

阅读量2.8k

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/asfjgvajfghaklsbf/article/details/70172740

版权

本文介绍了Spark从Kafka获取数据的两种主要方式：使用kafkaUtils.createStream和kafkaUtils.createDirectStream。这两种方法分别对应于不同的数据摄入策略，对于实时数据处理具有重要意义。

摘要由CSDN通过智能技术生成

spark从kafka获取数据两种方式

1.kafkaUtils.createStream

利用 Kafka 消费者高级 API 在 Spark 的工作节点上创建消费者线程，订阅 Kafka 中的消息，数据会传输到 Spark 工作节点的执行器中，但是默认配置下这种方法在 Spark Job 出错时会导致数据丢失，如果要保证数据可靠性，需要在 Spark Streaming 中开启 Write Ahead Logs（WAL），也就是上文提到的 Kafka 用来保证数据可靠性和一致性的数据保存方式。可以选择让 Spark 程序把 WAL 保存在分布式文件系统（比如 HDFS）中, 通过WAL 和checkPiont可以保证数据的安全性但是效率很低因为读取数据时需要往文件系统中存储一份，大量的磁盘Io和网络带宽会限制性能，如果数据不需要保证完全安全可以考虑使用另外一种