kafka
文章平均质量分 68
huobumingbai1234
路漫漫其修远兮,吾将上下而求索
展开
-
flink-streaming消费kafka动态分区写入HDFS(SequenceFile)文件
主要记录下streaming模式下动态分区怎么写文件,sql模式直接写就是了,streaming模式需要自己写下分区方法。大致的数据流程是消费kafka,拆解json,数据写到hdfs(sequenceFile)路径。1、分区需要自定义,这里是读取流数据,获取分区字段package partitionassigner;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.core.io.S...原创 2022-01-09 10:59:06 · 1027 阅读 · 0 评论 -
kafka基础学习一
工作中经常会使用kafka,但是没有系统性的了解,看个课程记录下知识点。第三章:kafka架构深入3.1 kafka工作流程及文件存储机制1、kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。2、往kafka中发消息时,如果topic不存在,会默认创建,默认1个leader,1个follower3、kafka的副本数包含leader这1个;leader和follower肯定不会在一个机器上4、每个分区维护自己的局部的偏移量,follo原创 2021-03-21 21:02:30 · 687 阅读 · 2 评论