![](https://img-blog.csdnimg.cn/20191008141056369.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据之Kafka
Kafka是一个分布式消息队列
念达
沸腾的时光怎能被荒芜
展开
-
1)Kafka概述、集群部署、命令行操作
概述:Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。Kafka架构图:详解:1)Producer :消息生产者,就是向kafka broker发消息的客户端2)Consumer :消息消费者,向k...原创 2019-10-08 15:14:51 · 159 阅读 · 0 评论 -
2)Kafka工作流程分析
Kafka生产过程分析:写入方式producer采用push(推)的模式将消息发送到Broker,每条消息都被append(追加)到分区中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)分区(Partition)消息都会被发送到一个topic,其本质就是一个目录,而topic是由一些Partition Logs(分区日志)组成:我们可以看到,每个Par...原创 2019-10-08 17:08:51 · 194 阅读 · 0 评论 -
3)Kafka API实操、拦截器(Kafka producer interceptor)
环境准备启动zk和kafka集群,在kafka集群中打开一个消费者:bin/kafka-console-consumer.sh --zookeeper hd101:2181 --topic first导入pom依赖:<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kaf...原创 2019-10-08 19:15:39 · 218 阅读 · 0 评论