Kafka

Kafka基础

Kafka是一款基于发布和订阅的消息系统。由字节数据组成的“消息”是Kafka的数据单元，同样由字节数组构成的“键”是消息的可选的元数据。每个消息都有唯一的偏移量（元数据）。

Kafka的优点：

• 基于磁盘的数据持久化存储
• 具有灵活的伸缩性
• 高性能

使用场景：

• 跟踪用户活动
• 收集系统指标和日志
• 传递消息
• 提交日志
• 流处理

主题与分区

Kafka中属于同一主题和分区的一组消息采用分批的形式压缩写入 Kafka，以提高数据传输效率和存储能力。

一个主题可以有若干个分区，每一个分区都是一个提交日志。

Kafka采用分布在不同服务器上的分区实现数据冗余。

生产者与消费者

生产者创建消息，消费者读取消息。多个消费者构成一个消费者组，但每个分区只能被消费者组的一个消费者进行消费。

broker

 broker是一个独立的Kafka服务器，用于接受生产者创建的消息，为消息设置偏移量后进行保存。同时，broker对消费者读取分区的请求做出响应。

安装

安装java

安装Zookeeper

启动，查看三台机器状态

安装Kafka

国内镜像地址：apache-kafka安装包下载_开源镜像站-阿里云

tar -zxf kafka.tgz
mv kafka /usr/local/kafka
mkdir /tmp/kafka-logs
cd /usr/local/kafka/
bin/kafka-server.sh -daemon config/server.properties

 创建主题

发送消息

kafka2.9