- 博客(1)
- 收藏
- 关注
RSS订阅原创 Spark从Kafka读取数据的方式
一、Receiver方式： 使用kafka的高层次Consumer api来实现的，Receiver从kafka中获取的数据都是存储在spark executor的内存中，然后Spark Streaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。如果要启用高可用机制，让数据零丢失，就必须启用Spark Streaming的预写日志机制(Write...
2019-10-10 09:08:25
1200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人