Kafka
Kafka笔记
lovely_nn
这个作者很懒,什么都没留下…
展开
-
Kafka主题、分区、副本
主题Topic主题Topic在kafka中是个逻辑的概念,kafka通过topic将消息进行分类,不同的Topic会被订阅该Topic的消费者消费。但是有个问题,如果说这个topic中的消息非常多,多到需要用几T来存,因为消息是会被保存到log日志文件中的,为了解决这个文件过大的问题,kafka提出了Partition分区的概念。分区Partition通过partition将⼀个topic中的消息分区来存储(分段存储topic),这样的好处有多个:1.分区存储,可以解决统一存储文件过大的问题。原创 2022-01-14 15:45:43 · 2188 阅读 · 0 评论 -
Kafka 单播、多播和消费组
单播消息在一个kafka的topic中,在同一个消费组中启动多个消费者,那么只有一个消费者可以收到订阅的topic中的消息,也就是说同一个消费组中只能有一个消费者收到一个topic中的消息。$ bin/kafka-console-consumer.sh --bootstrap-server 10.20.30.40:9092 --consumer-property group.id=group1 --topic hello多播消息不同的消费组订阅同一个topic,那么不同的消费组中只有一个消原创 2022-01-11 15:46:05 · 2291 阅读 · 0 评论 -
Kafka 消息的生产和消费
kafka基本概念Broker: 消息中间件的处理节点,一个kafka节点就是一个brokerTopic: 用于对消息进行归类,每条消息都要指定一个TopicProducer: 消息生产者,向broker发送消息Consumer: 消息消费者,从broker读取消息发送消息kafka自带一个producer命令客户端,可以从本地读取内容,也可以直接在命令行输入内容,输入内容以消息的形式发送到kafka集群中,输入的每一行内容当作一个独立的消息。使用kafka 发送消息的客户端原创 2022-01-11 13:58:51 · 1794 阅读 · 0 评论 -
Kafka 单机部署
1. 安装jdk环境在线下载jdk1.8$ wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm添加执行命令$ chmod +原创 2022-01-11 10:37:35 · 668 阅读 · 0 评论