kafka介绍

kafka是一款开源的、轻量级的、分布式消息系统。它基于zookeeper协调管理，还具有可分区和具有复制备份（replicated）特性。

kafka的设计初衷是，kafka能够成为统一实时处理，大数据的平台。据kafka官方网站介绍，kafka定位就是一个分布式流处理平台。
作为一个流式处理平台，必须具有以下三个关键特性：

• 能够允许发布和订阅流数据；
• 存储流数据时，提供相应的容错机制；
• 当流数据到达时能够被及时处理。

下面的概念可能有点绕，不过学习新技术不就是学习这些新名词吗？
kafka将一组消息抽象归纳为一个主题topic。
消息是kafka通信的基本单位，每一条消息称为message，在由Java重新实现的客户端中，每一条消息称为record。

kafka每个topic，又被分成一个或多个分区，每个分区在物理上对应一个文件夹。每个分区又有一或多个副本replica。
每个副本在逻辑上抽象为一个日志对象。也就是说，分区的副本和日志对象是一一对应的。每个主题，对应的分区数可以在kafka启动时所加载的配置文件中配置。

由于kafka副本的存在，就需要保证一个分区的多个副本之间数据的一致性。kafka会选择该分区的一个副本作为leader副本，而该分区的其他副本是follower副本。这样数据一致性及顺序性就有了保证。

一个日志又被划分为多个日志段，日志段是kafka日志对象分片的最小单位。一个日志段对应磁盘上一个具体的日志文件和两个索引文件。

kafka集群，就是由一个或多个kafka实例构成，每一个kafka实例称为代理（broker），通常也称代理为kafka服务器。

下载安装kafka

• 1、下载安装

kafka官网 http://kafka.apache.org/downloads，安装包没有区分linux和windows，都是叫kafka_2.11-2.1.1.tgz
下载尽量选择国内镜像

https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz

• 2、配置环境变量

KAFKA_HOME=/usr/local/applications/backup/kafka_2.12-2.5.0
PATH=PATH=$PATH:$KAFKA_HOME/bin

• 3、使之生效

source /ect/profile

• 启动验证

1. kafka需要先启动zookeeper，如果zk不是本地服务，应修改/config/server.properties文件zookeeper.connect配置项

# 避免在zookeeper根节点生成大量目录，指定kafka的根目录
zookeeper.connect=192.168.26.99:2181/myKafka
log.dirs=/home/data/logs/kafka-logs

2. 后台启动

./kafka-server-start.sh -daemon ../config/server.properties

3. 执行jps查看java进程

25521 Jps
25484 Kafka

以上修改/server.properties配置项是基于单机，可以不用改broker.id，如果是集群环境，最好和zookeeper改为一致

• 4、日志查看

$KAFKA/logs/server.log文件可以看到启动日志，启动日志中会记录启动时加载的配置信息。

• 5、通过zookeeper的客户端登录zookeeper查看目录结构，也可以在dubbo-monitor上看

zkCli.sh -server server-1:2181

kafka服务器配置

1、zookeeper集群配置

zookeeper.connect=node2:2181,node3:2181,node4:2181/myKafka

2、listener

listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
listener=INTERNAL:192.168.27.5:9000,EXTERNAL:192.168.27.5:9001
advertised.listeners=EXTERNAL:192.168.27.5:9001
inter.broker.listener.name=EXTERNAL

3、log.dir

log.dir=/home/logs/kafka_logs

4、broker.id

用于标记唯一的broker