Kafka的基本概念
- Topic 主题 是Kafka集群中用于存储某一类 或者某一种数据。主题的数据只能添加
- Broker 集群中的每一个分机 都是一个Broker 相当于Kafka集群的节点
- Consumer 消费者 用来从Kafka 集群中读取消息
- Producer 生产者 用于从Kafka 集群中发送消息
- Streams 流 用于对实时数据的处理
- Partition 分区 每一个topic 可以分为多个区 提高并发,每个分区数据不会重复
- Replication 副本 用于提高 信息安全 当储存某个分区的节点宕机时候,该broker 的数据将会丢失,为了保障数据的安全性 分区时候应该建立副本
快捷启动
- 安装Kafka
安装方式有两种一种是 tar.gz的解压版 ,还有一个是wget方式安装 - 启动服务
首先 Kafka 依赖 zookeeper 要先启动zookeeper 服务才行。
启动命令
bin/zookeeper-server-start.sh config/zookeeper.properties
启动Kafka
bin/kafka-server-start.sh -daemon config/server.properties
- 常用命令
创建一个topic (test)
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看自己所创建的所有topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
发送消息 向test 主题发送信息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费消息 查看test 主题的信息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning