kafka - 初识kafka

一、初识kafka

Kafka最初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本并且基于ZooKeeper协调的分布 式消息系统，现在已经捐献给了Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以 高吞吐、可持久化、可水平扩展、支持流处理等多种特性而被广泛应用。

Apache Kafka是一个分布式的发布-订阅消息系统，能够支撑海量数据的数据传递。在离线和实时的消 息处理业务系统中，Kafka都有广泛的应用。Kafka将消息持久化到磁盘中，并对消息创建了备份保证了 数据的安全。Kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。

特性

(1)高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个主题可以分多个分区,消费组对分区进行消费操作;

(2)可扩展性：kafka集群支持热扩展;

(3)持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失;

(4)容错性：允许集群中节点失败(若副本数量为n,则允许n-1个节点失败);

(5)高并发：支持数千个客户端同时读写;

使用场景

(1)日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如Hadoop、Hbase、Solr等;

(2)消息系统：解耦和生产者和消费者、缓存消息等;

(3)用户活动跟踪：Kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后订阅者通过订阅这些topic来做实时的监控分析，或者装载到Hadoop、数据仓库中做离线分析和挖掘;

(4)运营指标：Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告;

(5)流式处理：比如spark streaming和storm;

技术优势

可伸缩性:

Kafka 的两个重要特性造就了它的可伸缩性。

1. Kafka 集群在运行期间可以轻松地扩展或收缩(可以添加或删除代理)，而不会宕机。
2. 可以扩展一个 Kafka 主题来包含更多的分区。由于一个分区无法扩展到多个代理，所以它的容量受到代理磁盘空间的限制。能够增加分区和代理的数量意味着单个主题可以存储的数据量是没有限制的。

容错性和可靠性:

Kafka 的设计方式使某个代理的故障能够被集群中的其他代理检测到。由于每个主题都可以在多个代理上复制，所以集群可以在不中断服务的情况下从此类故障中恢复并继续运行。

吞吐量:

代理能够以超快的速度有效地存储和检索数据。

概念详解

总体模型：

消息发布/消费流程：

Producer

生产者即数据的发布者，该角色将消息发布到Kafka的topic中。broker接收到生产者发送的消息后， broker将该消息追加到当前用于追加数据的segment文件中。生产者发送的消息，存储到一个partition 中，生产者也可以指定数据存储的partition。

Consumer

消费者可以从broker中读取数据。消费者可以消费多个topic中的数据。

Topic

在Kafka中，使用一个类别属性来划分数据的所属类，划分数据的这个类称为topic。如果把Kafka看做为一个数据库，topic可以理解为数据库中的一张表，topic的名字即为表名。

Partition

topic中的数据分割为一个或多个partition。每个topic至少有一个partition。每个partition中的数据使用多个segment文件存储。partition中的数据是有序的，partition间的数据丢失了数据的顺序。如果 topic有多个partition，消费数据时就不能保证数据的顺序。在需要严格保证消息的消费顺序的场景下，需要将partition数目设为1。

Partition offset

每条消息都有一个当前Partition下唯一的64字节的offset，它指明了这条消息的起始位置。

Replicas of partition

分区副本是一个分区的备份。副本不会被消费者消费，副本只用于防止数据丢失，即消费者不从为follower 的partition中消费数据，而是从为leader的partition中读取数据。副本之间是一主多从的关系。

Broker

Kafka 集群包含一个或多个服务器，服务器节点称为broker。broker存储topic的数据。如果某topic有 N个partition，集群有N个broker，那么每个broker存储该topic的一个partition。如果某topic有N个 partition，集群有(N+M)个broker，那么其中有N个broker存储该topic的一个partition，剩下的M个 broker不存储该topic的partition数据。如果某topic有N个partition，集群中broker数目少于N个，那么 一个broker存储该topic的一个或多个partition。在实际生产环境中，尽量避免这种情况的发生，这种 情况容易导致Kafka集群数据不均衡。

Leader

每个Partition有多个副本，其中有且仅有一个Leader，Leader是当前负责读写的partiton。

Follower

Follower跟随Leader，所有写请求都通过Leader路由，数据变更会广播给所有Follower，Follower与 Leader保持数据同步。如果Leader失效，则从Follower中选举出一个新的Leader。当Follower与 Leader挂掉、卡住或者同步太慢，leader会把这个follower从“in sync replicas”(ISR)列表中删除，重新创建一个Follower。

Zookeeper

Zookeeper负责维护和协调broker。当Kafka系统中新增了broker或者某个broker发生故障失效时，由ZooKeeper通知生产者和消费者。生产者和消费者依据Zookeeper的broker状态信息与broker协调数据的发布和订阅任务。

AR(Assigned Replicas)

分区中所有的副本统称为AR。

ISR(In-Sync Replicas)

所有与Leader部分保持一定程度的副(包括Leader副本在内)本组成ISR。

OSR(Out-of-Sync-Replicas)

与Leader副本同步滞后过多的副本。

HW(High Watermark)

高水位，标识了一个特定的offset，消费者只能拉取到这个offset之前的消息。

LEO(Log End Offset)

即日志末端位移(log end offset)，记录了该副本底层日志(log)中下一条消息的位移值。注意是下一条消息!也就是说，如果LEO=10，那么表示该副本保存了10条消息，位移值范围是[0, 9]。

安装与配置

首先需要安装Java环境(linux)，同时配置环境变量，步骤如下:

官网下载JDK

https://www.oracle.com/technetwork/java/javase/downloads/jdk12-downloads-5295953.html

下载成功后解压目录：

在/etc/profile文件中配置如下变量

export JAVA_HOME=/opt/jdk-12.0.1
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$KE_HOME/bin:${MAVEN_HOME}/bin:$PATH

配置完成后需要执行一下命令，才能生效：

source /etc/profile

在命令行输入java，能提示下图就安装成功。

ZooKeeper的安装

Zookeeper是安装Kafka集群的必要组件，Kafka通过Zookeeper来实施对元数据信息的管理，包括集

群、主题、分区等内容。

ZooKeeper官网:http://zookeeper.apache.org/

修改Zookeeper的配置文件，首先进入安装路径conf目录，并将zoo_sample.cfg文件修改为 zoo.cfg，并对核心参数进行配置。

# The number of milliseconds of each tick # zk服务器的心跳时间
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
# 投票选举新Leader的初始化时间
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
# do not use /tmp for storage, /tmp here is just # example sakes.
# 数据目录
dataDir=temp/zookeeper/data
# 日志目录
dataLogDir=temp/zookeeper/log
# the port at which the clients will connect
# Zookeeper对外服务端口，保持默认
clientPort=2181

启动Zookeeper命令:bin/zkServer.sh start

[root@localhost bin]# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.14/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

Kafka的安装与配置

官网下载安装解压缩:http://kafka.apache.org/downloads

下载解压启动

server.properties配置中需要关注以下几个参数:

#表示broker的编号，如果集群中有多个broker，则每个broker的编号需要设置 的不同
broker.id=0
#brokder对外提供的服务入口地址 
listeners=PLAINTEXT://:9092
#设置存放消息日志文件的地址
log.dirs=/tmp/kafka/log
#Kafka所需Zookeeper集群地址，教学中Zookeeper和 Kafka都安装本机
zookeeper.connect=localhost:2181

启动命令:

./bin/kafka-server-start.sh config/server.properties

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6urY56cG-1583410412336)(/Users/yangcun/Documents/学习/Markdown/images/kafka学习.assets/image-20200305193519265.png)]

没有报错误就表示启动成功。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gM8BU2G7-1583410412337)(/Users/yangcun/Documents/学习/Markdown/images/kafka学习.assets/image-20200305193614966.png)]

Kafka测试消息生产与消费

• 首先创建一个主题

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test --partitions 2 --replication-factor 1
---------------------------------------------------------------------------
Created topic test.

–zookeeper:指定了Kafka所连接的Zookeeper服务地址

–topic:指定了所要创建主题的名称

–partitions:指定了分区个数

–replication-factor:指定了副本因子

–create:创建主题的动作指令

• 展示所有主题

./bin/kafka-topics.sh --zookeeper localhost:2181 --list
---------------------------------------------------------------------------
yctest

• 查看主题详情

[root@localhost kafka_2.12-2.2.1]# ./bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic yctest
--------------------------------------------------------------------------------------
Topic:yctest	PartitionCount:2	ReplicationFactor:1	Configs:
Topic: yctest	Partition: 0	Leader: 0	Replicas: 0	Isr: 0
Topic: yctest	Partition: 1	Leader: 0	Replicas: 0	Isr: 0

• 开启一个生产端

[root@localhost kafka_2.12-2.2.1]# ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
>test1
>test2

• 开启一个监听端

[root@localhost kafka_2.12-2.2.1]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
test1
test2