Kafka入门介绍和基础

leader 负责读写数据
follower 负责同步数据的

创建完topic 之后 zookeeper 进行选举

Kafka的特点：
1.解耦：
　　允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
2.冗余：
　　消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。
3.扩展性：
　　因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。
4.灵活性 & 峰值处理能力：
　　在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
5.可恢复性：
　　系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
6.顺序保证：
　　在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。（Kafka 保证一个 Partition 内的消息的有序性）
7.缓冲：
　　有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
8.异步通信：
　　很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

Kafka的一些概念 ：
1.producer：
　　消息生产者，发布消息到 kafka 集群的Borker(下面的Leader分区)。

2.broker：
　　kafka 集群中安装Kafka的服务器（容器），broker要有唯一的ID。

3.topic：
　　每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的(相当于数据库中的表)

4.partition：
　　partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。

5.consumer：
　　从 kafka 集群中消费消息的终端或服务。

6.Consumer group：
　　high-level consumer API 中，每个 consumer 都属于一个 consumer group，每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。

7.replica：
　　partition 的副本，保障 partition 的高可用。

8.leader：
　　replica 中的一个角色， producer 和 consumer 只跟 leader 交互。

9.follower：
　　replica 中的一个角色，从 leader 中复制数据。

10.zookeeper：
　　kafka 通过 zookeeper 来存储集群的 meta 信息

kafka的概念图：

总结：

1.Kafka的生产者直接向Broker的Leader分区写入数据，不需要连接ZK

2.Kafka的消费者(老的API需要先连接ZK，获取Broker信息和topic、分区偏移量信息)，新的API不需要连接ZK(直连方式，新的API，底层的API，效率更高)

安装 kafka 集群
1 . 去 http://kafka.apache.org/ 官网下载 kafka
2 . 把下载好的安装包上传 三台机子都要装

tar -zxf  kafka_2.12-2.4.1 -C /opt/apps/

3. 修改配置文件

vi servier.properties

#指定broker的id
broker.id=1 #数据存储的⽬录
log.dirs=/data/kafka
#指定zk地址
zookeeper.connect=linux01:2181,linux02:2181,linux03:2181
#可以删除topic的数据(⽣成环境不⽤配置)
#delete.topic.enable=true

4. 将配置好的kafka拷⻉的其他节点

5. 记得修改其他节点Kafka的broker.id

启动kafka前 先启动 zookeeper

bin/zkServer.sh start  启动zookeeper

bin/zkServer.sh status   查看zookeeper状态

启动kafka（在所有节点启动）

/opt/apps/kafka_2.12-2.4.1/bin/kafka-server-start.sh -daemon /opt/apps/kafka_2.12-2.4.1/config/server.properties 

然后查看一下kafka 的进程

jps

创建一个 topic

/opt/apps/kafka_2.12-2.4.1/bin/kafka-topics.sh --zookeeper linux01:2181 --create --topic wordcount --replication-factor 2 --partitions 3

创建了一个叫 wordcount的 topic，有两个节点，三个分区

wordcount 是 topic的名称

查看Kafka的topic

/opt/apps/kafka_2.12-2.4.1/bin/kafka-topics.sh --list --zookeeper linux01:2181

查看topic 详细信息

/opt/apps/kafka_2.12-2.4.1/bin/kafka-topics.sh --zookeeper linux01:2181 --describe --topic wordcount

启动命令行一个生产者
（会把数据写到kafka的 磁盘里面）

/opt/apps/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list linux01:9092,linux02:9092,linux03:9092 --topic wordcount

启动一个命令行消费者（可以有多个消费者）

/opt/apps/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server linux01:9092,linux02:9092,linux03:9092 --topic wordcount --from-beginning
--from-beginning 是从头开始消费