搭建Kafka集群

一.安装JDK

export JAVA_HOME=/home/soft/jdk1.8.0_201                                  ——————————第一行
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile

java -version

二.安装zooKeeper集群

提示：要关闭虚拟机的防火墙，执行：service iptables stop

①切换到zookeeper安装目录的conf目录，其中有一个zoo_sample.cfg的配置文件，这个一 个配置模板文件，我们需要复制这个文件，并重命名为 zoo.cfg。zoo.cfg才是真正的配置文 件

②配置zoo.cfg=》vim zoo.cfg 更改如下几个参数配置：

dataDir。这个参数是存放zookeeper集群环境配置信息的。这个参数默然是配置在 /tmp/zookeeper下的 。但是注意，tmp是一个临时文件夹，这个是linux自带的一个目录，是 linux本身用于存放临时文件用的目录。但是这个目录极有可能被清空,所以，重要的文件一定 不要存在这个目录下。

clientport。客户端连接服务器的端口，默认是2181，一般不用修改 在配置文件里，需要在加上如下的配置： server.1=192.168.234.10:2888:3888

server.2=192.168.234.11:2888:3888

server.3=192.168.234.12:2888:3888

说明：2888原子广播端口，3888选举端口 zookeeper有几个节点，就配置几个server

 

③配置文件配置好，需要在dataDir目录下创建一个文件

   在/home/work/zkdata 目录下，创建touch myid 给当前的节点编号。zookeeper节点在启动时，就会到这个目录下去找myid

   文件

./zkServer.sh start 启动zk

./zkServer.sh status 查看当前节点状态

tickTime: zookeeper中使用的基本时间单位, 毫秒值.

dataDir: 数据目录. 可以是任意目录.

dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设 置.

clientPort: 监听client连接的端口号

initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为 follower. initLimit参数配置初始化连接时, follower和leader之间的最长心跳时间. 此时该参 数设置为5, 说明时间限制为5倍tickTime, 即5*2000=10000ms=10s. syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该 参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.

三. 安装kafka集群(预先做上述两步)

1. 上传安装包，并解压

2.  修改kafka的配置文件server.properties

      broker.id                                 配置服务器的id(选举使用)

      log.dirs                                   配置日志目录

      zookeeper.connect                配置三台zk

3.  后台启动Kafka集群 

      ./bin/kafka-server-start.sh –daemon config/server.properties &

4.  jps查看工作进程————kafka