kafka

1、kafka介绍

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

2、kafka的特性

Kafka 是一种高吞吐量的分布式发布订阅消息系统，有如下特性：

通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

持久性：使用文件性存储，日志文件存储消息，需要写入硬盘，采用达到一定阈值才写入硬盘，从而较少磁盘I/O，如果突然宕机数据会丢失

高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。

支持通过Kafka服务器和消费机集群来分区消息。

支持Hadoop并行数据加载。

3、kafka的体系架构

如上图所示，一个典型的Kafka体系架构包括若干Producer（可以是服务器日志，业务数据，页面前端产生的page view等等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer (Group)，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance。Producer使用push(推)模式将消息发布到broker，Consumer使用pull(拉)模式从broker订阅并消费消息。

leader 对外提供服务 follower 负责leader里面所产生内容同步消息写入生成时产生repilcas（副本）

Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。通过调节其副本相关参数，可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供partition级别的复制

4、kafka的相关名词

Broker：消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群

Topic：Kafka根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topic

Producer：消息生产者，向Broker发送消息的客户端

Consumer：消息消费者，从Broker读取消息的客户端

ConsumerGroup：每个Consumer属于一个特定的Consumer Group，一条消息可以发送到多个不同的Consumer Group，但是一个Consumer Group中只能有一个Consumer能够消费该消息

Partition：物理上的概念，一个topic可以分为多个partition，每个partition内部是有序的

 

5、Topic和Partition的区别

一个topic可以认为一个一类消息，每个topic将被分成多个partition，每个partition在存储层面是append log文件。任何发布到此partition的消息都会被追加到log文件的尾部，每条消息在文件中的位置称为offset(偏移量)，offset为一个long型的数字，它唯一标记一条消息。每条消息都被append到partition中，是顺序写磁盘，因此效率非常高（经验证，顺序写磁盘效率比随机写内存还要高，这是Kafka高吞吐率的一个很重要的保证）。

每一条消息被发送到broker中，会根据partition规则选择被存储到哪一个partition（默认采用轮询的方式进行写入数据）。如果partition规则设置的合理，所有消息可以均匀分布到不同的partition里，这样就实现了水平扩展。（如果一个topic对应一个文件，那这个文件所在的机器I/O将会成为这个topic的性能瓶颈，而partition解决了这个问题），如果消息被消费则保留append.log两天

6、kafka的文件存储机制

Kafka中消息是以topic进行分类的，生产者通过topic向Kafka broker发送消息，消费者通过topic读取数据。然而topic在物理层面又能以partition为分组，一个topic可以分成若干个partition，那么topic以及partition又是怎么存储的呢？partition还可以细分为segment，一个partition物理上由多个segment组成

为了便于说明问题，假设这里只有一个Kafka集群，且这个集群只有一个Kafka broker，即只有一台物理机。在这个Kafka broker的server.properties配置文件定义kafka的日文件存放路径以此来设置Kafka消息文件存储目录，与此同时创建一个topic：test，partition的数量为4启动kafka就可以在日志存放路径中可以看到生成4个目录

在Kafka文件存储中，同一个topic下有多个不同的partition，每个partiton为一个目录，partition的名称规则为：topic名称+有序序号，第一个序号从0开始计

 

上面提到partition还可以细分为segment，这个segment又是什么？

如果就以partition为最小存储单位，我们可以想象当Kafka producer不断发送消息，必然会引起partition文件的无限扩张，这样对于消息文件的维护以及已经被消费的消息的清理带来严重的影响，所以这里以segment为单位又将partition细分。每个partition(目录)相当于一个巨型文件被平均分配到多个大小相等的segment(段)数据文件中（每个segment 文件中消息数量不一定相等）这种特性也方便old segment的删除，即方便已被消费的消息的清理，提高磁盘的利用率。每个partition只需要支持顺序读写就行

 

segment文件由两部分组成，分别为“.index”文件和“.log”文件，分别表示为segment索引文件和数据文件。这两个文件的命令规则为：partition全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值（偏移量），数值大小为64位，20位数字字符长度，没有数字用0填充

7、数据的可靠性和持久性保证

当producer向leader发送数据时，可以通过request.required.acks参数来设置数据可靠性的级别：

1（默认）：这意味着producer的leader已成功收到数据并得到确认。如果leader宕机了，则会丢失数据。

0：这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输效率最高，但是数据可靠性确是最低的。

-1：producer需要等待所有follower都确认接收到数据后才算一次发送完成，可靠性最高。

8、leader选举

一条消息只有被所有follower都从leader复制过去才会被认为已提交。这样就避免了部分数据被写进了leader，还没来得及被任何follower复制就宕机了，而造成数据丢失。而对于producer而言，它可以选择是否等待消息commit

一种非常常用的选举leader的方式是“少数服从多数”，在进行数据的复制过程中，存在多个follower，并且每个follower的数据速度都不相同

 

kafka单机环境搭建

     [root@localhost ~]# tar zxf kafka_2.11-2.2.1.tgz

     [root@localhost ~]# mv   kafka_2.11-2.2.1   /usr/local/kafka/

     [root@localhost ~]# cd  /usr/local/kafka/bin/

启动zookeeper，默认运行端口为2181：

[root@localhost bin]# ./zookeeper-server-start.sh  ../config/zookeeper.properties  &

启动kafka节点，运行端口为9092：

[root@localhost bin]# ./kafka-server-start.sh  ../config/server.properties  &

查看服务是否启动：

[root@localhost bin]# netstat -anput  |  grep    2181
tcp6       0      0 :::2181                 :::*                    LISTEN      5565/java          

tcp6       0      0 ::1:41738               ::1:2181                ESTABLISHED 5873/java          

tcp6       0      0 ::1:2181                ::1:41738               ESTABLISHED 5565/java   

       

[root@localhost bin]# netstat -anput  |  grep    9092
tcp6       0      0 :::9092                 :::*                    LISTEN      5873/java          

tcp6       0      0 127.0.0.1:41942         127.0.0.1:9092          ESTABLISHED 5873/java          

tcp6       0      0 127.0.0.1:9092          127.0.0.1:41942         ESTABLISHED 5873/java

 

在本机kafka上创建一个副本，一个分区：test：

[root@localhost bin]# ./kafka-topics.sh  --create  --bootstrap-server  localhost:9092  --replication-factor  1 --partitions  1  --topic  test

查看本机的topic：

[root@localhost bin]# ./kafka-topics.sh  --list  --bootstrap-server  localhost:9092

发布消息到test:

[root@localhost bin]# ./kafka-console-producer.sh   --broker-list  localhost:9092  --topic  test
>nihao

>aaa

>bbb

消费者读取消息：

[root@localhost bin]# ./kafka-console-consumer.sh   --bootstrap-server  localhost:9092  --topic test  --from-beginning
cxk

hello

xiaotao

zhenlao

nihao

aaa

bbb

搭建kafka集群环境：

[root@localhost ~]# cd  /usr/local/kafka/bin/

[root@localhost bin]# ./kafka-server-stop.sh

[root@localhost bin]# ./zookeeper-server-stop.sh

[root@localhost bin]# netstat   -anput  |  grep  9092
tcp6       0      0 127.0.0.1:42016         127.0.0.1:9092          TIME_WAIT   - 

                 

[root@localhost bin]# netstat   -anput  |  grep  2181
tcp6       0      0 ::1:2181                ::1:41738               TIME_WAIT   -

 

[root@localhost ~]# tar zxf zookeeper-3.4.9.tar.gz

[root@localhost ~]# mv  zookeeper-3.4.9  /usr/local/zookeeper

[root@localhost ~]# cd  /usr/local/zookeeper/conf/

[root@localhost conf]# cp  zoo_sample.cfg  zoo.cfg

[root@localhost conf]# vim  zoo.cfg

[root@localhost conf]# grep  -v   ^#  zoo.cfg  |  grep  -v  ^$

tickTime=2000   //节点之间的心跳检测时间为毫秒

initLimit=5  //达到5个访问进行同步数据

syncLimit=5  //节点之间检查失败次数超过后断开响应的节点

dataDir=/usr/local/zookeeper/data  //日志文件存放路径

clientPort=2181

//声明集群主机

server.1  192.168.1.10:2888:3888

server.2  192.168.1.20:2888:3888

server.3  192.168.1.30:2888:3888

[root@localhost conf]# mkdir  /usr/local/zookeeper/data

[root@localhost bin]# echo  1  >  /usr/local/zookeeper/data/myid   //其他两台id为2和3

[root@localhost bin]# scp  -r  /usr/local/zookeeper/    root@192.168.1.20:/usr/local/

[root@localhost bin]# scp  -r  /usr/local/zookeeper/    root@192.168.1.30:/usr/local/

[root@localhost ~]# echo  2  >  /usr/local/zookeeper/data/myid

[root@localhost ~]# echo  3  >  /usr/local/zookeeper/data/myid

三台zookeeper配置完成后再启动服务：

[root@localhost ~]# /usr/local/zookeeper/bin/zkServer.sh  start

查看zookeeper节点状态：

[root@localhost ~]# /usr/local/zookeeper/bin/zkServer.sh  status    //192.168.1.10
ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower

 

[root@localhost ~]# /usr/local/zookeeper/bin/./zkServer.sh  status  //192.168.1.20
ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower

 

[root@localhost ~]# /usr/local/zookeeper/bin/./zkServer.sh  status    //192.168.1.30
ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: leader

安装kafka集群：

[root@localhost ~]# cd  /usr/local/kafka/config/

[root@localhost config]# vim  server.properties

修改如下：

三台主机的不同之处：

broker.id=1    //其它两台id分别改为2、3

listeners=PLAINTEXT://192.168.1.10:9092  //节点监听地址，填写每个节点自己的IP地址

advertised.listeners=PLAINTEXT://192.168.1.10:9092  //集群中节点内部节流hi使用的端口，填写每个节点自己的IP地址

#相同之处：

log.dirs=/usr/local/zookeeper/data

zookeeper.connect=192.168.1.10:2181,192.168.1.20:2181,192.168.1.30:2181  //声明连接zookeeper节点的地址

[root@localhost config]# scp  -r  /usr/local/kafka/   root@192.168.1.20:/usr/local/

[root@localhost config]# scp  -r  /usr/local/kafka/   root@192.168.1.30:/usr/local/

启动kafka：

[root@localhost~]#/usr/local/kafka/bin/kafkaserverstart.sh /usr/local/kafka/config/server.prope &

创建topic名称为my-replicated-topic：

[root@localhost ~]# cd  /usr/local/kafka/bin/

[root@localhost bin]# ./kafka-topics.sh  --create  --bootstrap-server  192.168.1.10:9092  --replication-factor 3 --partitions 1 --topic my-replicated-topic

查看topic的状态和领导者：

[root@localhost bin]# ./kafka-topics.sh  --describe  --bootstrap-server  192.168.1.10:9092  --topic  my-replicated-topic
Topic:my-replicated-topic    PartitionCount:1   ReplicationFactor:3     Configs:segment.bytes=1073741824

     Topic: my-replicated-topic   Partition: 0  Leader: 3 Replicas: 3,2,1 Isr: 3,2,1

 

发布消息：

[root@localhost bin]# ./kafka-console-producer.sh  --broker-list  192.168.1.10:9092  --topic  my-replicated-topic
>zhangsan

>lisi

>wangwu

>zhenhao

 

订阅消息：

[root@localhost bin]# ./kafka-console-consumer.sh  --bootstrap-server  192.168.1.20:9092  --from-beginning  --topic  my-replicated-topic
zhangsan

lisi

wangwu

zhenhao

zhangsan

zhenhao

nishi

buzhidao

 

停止Leader，然后再查看topic的状态和领导者：

[root@localhost bin]# /usr/local/kafka/bin/kafka-server-stop.sh

[root@localhost bin]#  ./kafka-topics.sh  --describe  --bootstrap-server  192.168.1.10:9092  --topic  my-replicated-topic
Topic:my-replicated-topic    PartitionCount:1   ReplicationFactor:3     Configs:segment.bytes=1073741824

     Topic: my-replicated-topic   Partition: 0  Leader: 2     Replicas: 3,2,1  Isr: 2,

[root@localhost ~]# ls  /usr/local/zookeeper/data/my-replicated-topic-0/

00000000000000000000.index  00000000000000000000.timeindex

00000000000000000000.log    leader-epoch-checkpoint

[root@localhost ~]# cat  /usr/local/zookeeper/data/my-replicated-topic-0/00000000000000000000.log
?hn ¨nn ¨nÿÿÿÿÿÿÿÿÿÿÿÿÿÿzhenhao@ݬоn ¨¦ρn ¨¦ҿÿÿÿÿÿÿÿÿÿÿÿÿÿzhangsan<8S{n ¨ª逮 ¨ª퀿ÿÿÿÿÿÿÿÿÿÿÿlisi?Qn ¨µ[n ¨µ[ÿÿÿÿÿÿÿÿÿÿÿÿÿÿwan

 

将停止的那一台启动：

[root@localhost bin]# ./kafka-server-start.sh   ../config/server.properties  &

[root@localhost bin]#  ./kafka-topics.sh  --describe  --bootstrap-server  192.168.1.10:9092  --topic  my-replicated-topic
Topic:my-replicated-topic    PartitionCount:1   ReplicationFactor:3     Configs:segment.bytes=1073741824

     Topic: my-replicated-topic   Partition: 0  Leader: 2  Replicas: 3,2,1    Isr: 2,1,3