Zookeeper集群+kafka集群

Zookeeper集群+kafka集群：

Kafka3.0之前依赖于zookeeper

zookeeper是一个开源分布式的架构，提供协调服务（Apache项目）

基于观察者模式涉及的分布式服务管理架构

主要作用是：存储和管理数据，分布式节点上的服务接受观察者的注册，一旦分布式节点上的数据发生变化，由zookeeper负责通知分布式节点上的服务

核心图：

Zookeeper:分为领导者 追随者 leader follwer组成的集群

特点：

1. 只要有一半以上的集群存活，zookeeper集群就可以正常工作，适用于安装奇数台的服务集群，全局数据一致，每个节点都保持相同的数据，维护监控服务的数据一致
2. 数据更新的原子性，要么都成功，要么都失败
3. 实时性，只要有变化，立刻同步

Zookeeper的应用场景：

1. 统一命名服务，在分布式的环境下，对所有的应用和服务进行统一命令
2. 配置文件要同步，例如：kafka的配置文件被修改，可以快速同步到其他节点
3. 统一集群管理，实时掌握所有节点的状态
4. 服务器动态上下线
5. 可以实现负载均衡，把访问的服务器的数据，发送到访问最少的服务器处理客户端的请求

领导者和追随者：zookeeper的选举机制

三台服务器为例： A B C

A先启动，发起第一次选举，投票投给自己，只有一票，不满半数，A的状态是looking

B启动，再发起一次选举，A和B分别投自己一票，交换选票信息，myid,A发现B的myid比A大，A的这一票转而投给B  A 0  B 2没有半数以上的结果，AB进入looking

C启动 MYID c的myid最大，A和B都会把票投给C A 0 B 0 C 3

C的状态变为leader，A和B变成follower

只要leader确定，后续的服务器都是追随者，

只有两种情况会重新开始选举机制：

1. 初始化的情况会产生选举
2. 服务器之间和fleader丢失了链接状态

Leader存在，leader建立连接即可

Leader不存在，leader

1. 服务器ID大的胜出
2. EPOCH，直接胜出
3. ECOCH相同，事务ID大的胜出

EPOCH每个leader任期的代号，没有leader，大家的逻辑地址相同，每一次投完一次之后，数据都是递增

事务ID，表示服务器的每一次变更，没变更一次事务ID变化一次

服务器ID，zookeeper集群当中的机器都有一个ID，而且每台机器不重复，和myid保持一致

部署zookeeper集群：

Kafka3.4.1版本之前依附于zookeeper，而后的不用

实现：Zookeeper+kafka(2.7.0版本)

20.0.0.51 zookeeper+kafka

20.0.0.52 zookeeper+kafka

20.0.0.53 zookeeper+kafka

升级Java环境

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

查看版本

java -version

解压改名

修改配置文件

vim zoo.cfg

tickTime=2000

initLimit=10

sysncLimit=5

15行添加

末行定义所有集群的信息

1. 每个zookeeper集群的初始myid

192.168.233.10:服务器的ip地址

3188：领导者和追随者之间交换信息的端口（内部通信的端口）

3288：一旦leader丢失响应，开始选举，3288就是用来选举时的服务器之间通信端

单独创建添加的数据目录

关闭同步选项，添加myid编号

再次打开同步工具，写一个启动脚本

vim /etc/init.d/zookeeper

#!/bin/bash

#chkconfig:2345 20 90

#description:Zookeeper Service Control Script

ZK_HOME='/opt/zookeeper'

case $1 in

start)

echo "---------- zookeeper 启动 ------------"

$ZK_HOME/bin/zkServer.sh start

;;

stop)

echo "---------- zookeeper 停止 ------------"

$ZK_HOME/bin/zkServer.sh stop

;;

restart)

echo "---------- zookeeper 重启 ------------"

$ZK_HOME/bin/zkServer.sh restart

;;

status)

echo "---------- zookeeper 状态 ------------"

$ZK_HOME/bin/zkServer.sh status

;;

*)

    echo "Usage: $0 {start|stop|restart|status}"

esac

给三个脚本执行权限

chmod +x /etc/init.d/zookeeper

把脚本加入系统服务，让其识别

chkconfig --add zookeeper

分别启动三台zookeeper

service zookeeper start

service zookeeper status

三台会zookeeper会选举出一个主

Zookeeper安装已经全部完成，他只是一个kafka的依赖环境

消息队列kafka

为什么要引入消息队列（MQ），他也是一个中间件，在高并发环境下，同步请求来不及处理的请求会形成阻塞，比方说数据库就会形成行锁或者表锁。请求线程满了，超标了，会报too many connection,导致整个系统雪崩

消息队列的作用：异步处理请求，流量削峰和应用解耦

短信验证码就是典型的消息队列

消息队列的特点：

解耦：

耦合：在软件系统当中，修改一个组件需要修改所有其他组件，高度耦合

低度耦合：修改其中一个组件，对其他组件影响不大，无需修改所有

例如ABC，只要通信保证，其他的修改不影响整个集群，每个组件可以独立的扩展，修改，降低组件之间的依赖性

依赖点就是接口约束，通过不同的端口，保证集群通信

可恢复性：系统当中有一部分组件消失，不影响整系统，也就是说在消息队列当中，即使有一个处理消息的进程失败，一旦恢复还可以重新加入到队列当中，继续处理消息

缓冲：可以控制和优化数据经过系统的时间和速度，解决生产消息和消费消息处理速度不一致的问题

峰值的处理能力：消息对列在峰值情况之下，能够顶住突发的访问压力，避免专门为了突发情况而对系统进行修改

异步通信（核心）：允许用户把一个消息放入队列，但是不立即处理，等用户想处理的时候处理

消息队列的模式：

点对点一对一：消息的生产者发送消息到队列中，消费者从队列当中提取消息，消费者提取完之后，对列中被提取的消息将会被移除，后需消费者不能再消费对列当中的消息，消息队列可以有多个消费者，但是一个消息，只能有一个消费者提取

RABBITMQ

发布/订阅模式（默认模式）：一对多，又叫观察者模式，消费者提取数据之后，队列当中的消息不会被清除，生产者发布一个消息到主题，所有消费者都是通过主题获取消息

主题：topic topic类似于一个数据流的管道，生产者把消息发布到主题，消费者从主题当中订阅数据，主题可以分区，每个分区都有自己的偏移量

分区：partition 每个主题都可以分为多个分区，每个分区是数据的有序子集，分区可以允许kafka进行水平拓展，消息在分钟安装偏移量存储，消费者可以独立读取每个分区的数据

偏移量：是每个消息在分区中唯一的标识，消费者可以通过偏移量来跟踪获取已读或未读的消息的位置，也可以提交偏移量来记录处理信息

分区偏移量核心图：通过偏移量查找数据，例如从2偏移量查找20数据

生产者：producer生产者把数据发生到kafka的主题当中，负责写入消息

消费者：customer从主题当中读取数据，消费者可以是一个也可以是多个，每个消费者有一个唯一的消费组ID，kafka通过消费者实现负载均衡和兼容性

经纪人：broker每个kafka节点都有一个broker，每个负责人一台kafka服务器，ID唯一，存储主题分区当中数据，处理生产和消费和消费者的请求，维护元数据（通过zookeeper）

Zookeeper：zookeeper负责保存元数据，元数据就是topic的相关信息（发在哪台主机上，制指定了多少分区，以及副本数，偏移量）

Zookeeper自建一个注意：_consumer_offsets (3.0版本之前）

3.0之后不依赖zookeeper的核心 元数据由kafka节点自己管理

核心就是：主题，分区，偏移量

Kafka的工作流程：

核心图：

生产者写入的topic的数据是持久化的，默认是7小时

至少一次语义：只要消费者进入，确保消息至少被消费一次（类似于发送短信验证，只要消费者来了，就会给你数据消费）

实验部署kafka：

解压改名

全局配置声明

vim /etc/profile

source /etc/profile

末行添加

export KAFKA_HOME=/opt/kafka

export PATH=$PATH:$KAFKA_HOME/bin

修改配置文件：

关闭同步操作：

51 52 53 经纪人ID不能一样

声明了经纪人ID这里可以不改

num.network.thread=3

num.io.thread=8

socket.send.buffer.bytes=102400

socket.recieve.buffer.bytes=102400 套接字就是端口

socket.request.buffer.bytes=102400

Log.dirs=/var/log/kafka  日志路径

num.partitions=1

num.recovery.threads.per.date.dir=1

log.retention.hourse=168

生产者发布的数据文件在主题当中保存的 时间。168小时，默认就是七天

指定zookeeper集群

另外两台只需改ip和日志目录

启动kafka的脚本

vim /etc/init.d/kafka

#!/bin/bash

#chkconfig:2345 22 88

#description:Kafka Service Control Script

KAFKA_HOME='/opt/kafka'

case $1 in

start)

echo "---------- Kafka 启动 ------------"

${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties

;;

stop)

echo "---------- Kafka 停止 ------------"

${KAFKA_HOME}/bin/kafka-server-stop.sh

;;

restart)

$0 stop

$0 start

;;

status)

echo "---------- Kafka 状态 ------------"

count=$(ps -ef | grep kafka | egrep -cv "grep|$$")

if [ "$count" -eq 0 ];then

        echo "kafka is not running"

    else

        echo "kafka is running"

    fi

;;

*)

    echo "Usage: $0 {start|stop|restart|status}"

esac

chmod +x /etc/init.d/kafka

chkconfig --add kafka

netstat -antp | grep 9092

service kafka start

Kafka创建主题：

Kafka的命令全在bin目录下，要去bin目录下执行命令

创建kafka主题

kafka-topics.sh --create --zookeeper 20.0.0.51:2181,20.0.0.52:2181,20.0.0.53:2181 --replication-factor 2 --partitions 3 --topic wangdefu

创建主题：

1. 在kafka的bin目录下，是所有的kafka可执行命令文件
2. --zookeeper 指定的是zookeeper的地址和端口，保存kafka的元数据
3. --replication-factor 2 定义每个副本数
4. partitions 3 指定主题的分区数
5. --topic test1 指定主题的名称

查看主题详细信息

kafka-topics.sh --describe --zookeeper 20.0.0.51:2181,20.0.0.52:2181,20.0.0.53:2181

查看指定主题详细信息

kafka-topics.sh --describe --zookeeper 20.0.0.51:2181,20.0.0.52:2181,20.0.0.53:2181 --topic wangdefu

Partition：分区编号

Leader：每个分区都有一个领导者（Leader），领导者负责处理分区的读写操作。

在上述输出中，领导者的编号分别为 3、1、3。

Replicas：每个分区可以有多个副本（Replicas），用于提供冗余和容错性。

在上述输出中，Replica 3、1、2 分别对应不同的 Kafka broker。

Isr：ISR（In-Sync Replicas）表示当前与领导者保持同步的副本。

ISR 3、1分别表示与领导者同步的副本。

做主机映射（三台都要做）：

发布消息（随机选一台发送）：

kafka-console-producer.sh --broker-list 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9092 --topic wangdefu

随机一台消费：（从头开始）

kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9092 --topic wangdefu --from-beginning

如何实时获取：

生产者写

kafka-console-producer.sh --broker-list 20.0.0.51:9090.0.0.52:9092,20.0.0.53:9092 --topic wangdefu

消费者

kafka-console-consumer.sh --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9092 --topic wangdefu

不同主机订阅了不同的主题，互不影响，相互隔离：

创建主题必须要分区，必须要有副本数

重新创一个topic

kafka-topics.sh --create --zookeeper 20.0.0.52:2181 --replication-factor 1 --partitions 1 --topic wangdefu1

Test3创一个

订阅wangdefu1:

创建发布信息，生产者：

kafka-console-producer.sh --broker-list 20.0.0.52:9092 --topic wangdefu1

消费者

验证wangdefu2

生产者发布信息:

kafka-console-producer.sh --broker-list 20.0.0.52:9092 --topic wangdefu2

消费者:

修改分区数，以及删除topic

在bin目录里面，修改，在创建的基础上命令改

查看详情

删除主题

这只是打上了删除的标签，并没有删除，kafka默认是不允许删除topic的

如何进入zookeeper查看内部保存的元数据信息

./zkCli.sh -server 20.0.0.52:2181

进入broken目录

进入topic查看详情

总结：

1. zookeeper主要就是个分布式，观察者模式，统一各个节点服务器的数据，在kafka当中，收集保存kafka的元数据
2. Kafka消息对列订阅发布模式，RABBIT MQ也是一种消息对列模式

安装kafka3.401

注意，这个版本还是要zookeeper这个组件

首先需要安装zookeeper环境

安装kafka3.4.1（和安装2.7.0几乎相同）

将这个取消注释，但是要后面要加上IP＋端口，后续可以不用主机映射了

添加zookeeper

添加最后内容

Kafka3.2.7的版本和2.7.0一模一样，就是后面创建主题什么的，稍有不同

注意一切kafka的操作都要在bin目录

创建主题命令不一样：

查看主题命令也不一样：

查看详情也不一样：

发布消息和消费消息两个版本都一样

生产者

消费者

如何两个终端分别创建主题

分别两个终端创建

在任意节点，可以任意创建其他的ip

消费者消费

补充

用集群的方式来收（也是可以收到，因为还是依赖于zookeeper来管理集群）

Elk加filebeat，kafka

核心图：

修改filebeat配置文件

两个out注释，我们上面自己定output

vim filebeat.yml

启动发送看日志

接收脚本

codec => "json"

解析json格式的代码

auto_offset_reset => "earliest"

从头拉去，latest

decorate_events => true

传递给es实例中的信息包含kafka的属性数据

启动（可忽略）

消费者：