Kafka基础
Kafka是一款基于发布和订阅的消息系统。由字节数据组成的“消息”是Kafka的数据单元,同样由字节数组构成的“键”是消息的可选的元数据。每个消息都有唯一的偏移量(元数据)。
Kafka的优点:
- 基于磁盘的数据持久化存储
- 具有灵活的伸缩性
- 高性能
使用场景:
- 跟踪用户活动
- 收集系统指标和日志
- 传递消息
- 提交日志
- 流处理
主题与分区
Kafka中属于同一主题和分区的一组消息采用分批的形式压缩写入 Kafka,以提高数据传输效率和存储能力。
一个主题可以有若干个分区,每一个分区都是一个提交日志。
Kafka采用分布在不同服务器上的分区实现数据冗余。
生产者与消费者
生产者创建消息,消费者读取消息。多个消费者构成一个消费者组,但每个分区只能被消费者组的一个消费者进行消费。
broker
broker是一个独立的Kafka服务器,用于接受生产者创建的消息,为消息设置偏移量后进行保存。同时,broker对消费者读取分区的请求做出响应。
安装
安装java
安装Zookeeper
启动,查看三台机器状态
安装Kafka
国内镜像地址:apache-kafka安装包下载_开源镜像站-阿里云
tar -zxf kafka.tgz
mv kafka /usr/local/kafka
mkdir /tmp/kafka-logs
cd /usr/local/kafka/
bin/kafka-server.sh -daemon config/server.properties
创建主题![](https://i-blog.csdnimg.cn/blog_migrate/38083c16c21d334cdac78de34f2cd725.png)
发送消息
kafka2.9