kafka
孙小思思
java、javaweb、大数据开发 、大数据运维
展开
-
SparkStreaming将kafka的offset维护在redis中
1、`pubc class JStreamingRecommender {private static RedisUtils redisUtils = RedisUtils.getInstance();public void createKafkaStream() {}public static void main(String[] args) { String brokerList = "192.168.31.100:9092"; String group = "bhy"原创 2020-10-10 10:28:42 · 288 阅读 · 0 评论 -
kafka如何保证不丢失数据呢
kafka如何保证不丢失数据呢kafka主要数据传输点主要有三个1、保证producer写入过程中不丢数据2、保证broker中不丢数据3、保证消费者消费时不丢数据场景一 producer写入过程中丢失数据:–首先得了解kafka的写入流程才能找寻到producer丢数据的场景1、producer首先从zk的"…/state"节点中get到本分区中leader的信息2、producer将信息推送给leader3、leader顺序写入本地log4、followers从leader pull原创 2020-09-09 15:24:55 · 651 阅读 · 1 评论