Kafka Zookeeper

Zookeeper

1.1概述

Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

1.2特点

• 一个Leader，多个Follower组成的集群
• 集群中只要有半数以上的节点存活，Zookeeper集群就能正常服务
• 全局数据一致，每个server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
• 更新请求顺序执行，来自同一个Client的更新请求按其发送的顺序依次执行。
• 数据更新原子性，一次数据跟新要么成功，要么失败
• 实时性

1.3下载以及安装

1）下载解压

wget https://mirrors.huaweicloud.com/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

tar -zxvf zookeeper-3.4.10.tar.gz -C ~/opt

2）修改配置文件

（1）将$ZOOKEEPER_HOME/conf这个路径下的zoo_sample.cfg修改为zoo.cfg

mv zoo_sample.cfg zoo.cfg

(2)打开zoo.cfg文件，修改dataDir路径。将数据保存在指定路径下

dataDir=$ZOOKEEPER_HOME/zkData

3）常用命令

./zkServer.sh start
./zkServer.sh stop
./zkServer.sh status

1.4内部原理

1）半数机制：集群中半数以上机器存活，集群可用，所以Zookeeper适合安装奇数台服务器

4集群配置

1）同步/opt/module/zookeeper-3.4.10 目录内容到hadoop2、hadoop3 xsync脚本需要自己编写

xsync zookeeper-3.4.10/

scp jdk-8u192-linux-x64.tar.gz root@192.168.0.131:/opt/software/

2）在$ZOOKEEPER_HOME下创建zkData文件夹

mkdir -p zkData

3)在zkData文件夹下创建myid文件

touch myid

4)在文件中添加与server对应的编号

vi myid

5)增加集群配置

server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888 

vi模式下，o进入insert模式，并且到下一行

6)参数解读

server.A=B:C:D

A是一个数字，表示这个是第几号服务器。集群模式配置一个文件myid,这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时就会读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到到底是哪个server。

B是这个服务器的id地址

C是这个服务器与集群中Leader服务器交换信息的端口

D是万一集群中Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口

7)分别启动集群

./zkServer.sh start-foreground、

如遇到一下报错

java.net.NoRouteToHostException: 没有到主机的路由 (Host unreachable)

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

如遇到端口号被占用

 lsof -i:2181
 kill -9 pid

Kafka

1）下载

wget https://mirrors.huaweicloud.com/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz

2）解压

3）修改server.properties

broker.id=0   #不唯一整数
log.dirs=/opt/module/kafka_2.11-0.11.0.2/data    #数据存放位置
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181

4）启动，要先启动zk。群起脚本

bin/kafka-server-start.sh config/server.properties

bin/kafka-server-start.sh -daemon config/server.properties

#! /bin/bash
case $1 in
"start"){
     for i in hadoop101 hadoop102 hadoop103
     do
        echo "*****************$i*************"
        ssh $i "/opt/module/kafka_2.11-0.11.0.2/bin/kafka-server-start.sh -daemon/opt/module/kafka_2.11-0.11.0.2/config/server.properties"
        done
};;

"stop"){
     for i in hadoop101 hadoop102 hadoop103
     do
        echo "*****************$i*************"
        ssh $i "/opt/module/kafka_2.11-0.11.0.2/bin/kafka-server-stop.sh"
        done
};;
esac

5)关于topic的命令.

topic 需要连接zk

 kafka-topics.sh --list --zookeeper hadoop101:2181

创建topic,副本数量不能超过broker的数量

kafka-topics.sh --create --zookeeper hadoop101:2181  --partitions 2 --replication-factor 1  --topic  "first"

查看topic的描述信息

kafka-topics.sh --describe --topic first --zookeeper hadoop101:2181

测试生产者

生产者只需要连Kafka集群

 bin/kafka-console-producer.sh --topic first --broker-list hadoop101:9092