zookeeper+kafka安装配置（1）

准备工作

• 操作系统：Cent OS 7

• Kafka版本：kafka_2.10

• Kafka官网下载：官网链接

• JDK版本：1.8.0_171

• zookeeper-3.4.10

zookeeper安装配置

 

• curl -L -O http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

        tar -zxvf zookeeper-3.4.10.tar.gz

• 建两个文件夹data 、logs

       mkdir data

       mkdir logs

• 进入conf文件夹 

        cp zoo_sample.cfg  zoo.cfg

        修改zoo.cfg内容

       dataDir=/root/soft/zookeeper-3.4.10/data
       dataLogDir=/root/soft/zookeeper-3.4.10/logs
       server.1=192.168.10.10:2888:3888

• 在 dataDir=/opt/zookeeper-3.4.10/data下创建 myid文件 编辑myid文件，并在对应的IP的机器上输入对应的编号。如在zookeeper上，myid文件内容就是1。如果只在单点上进行安装配置，那么只有一个server.1。如下：

        

• /etc/profile环境变量配置

       export ZOOKEEPER_HOME=/root/soft/zookeeper-3.4.10

       export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$ZOOKEEPER_HOME/bin

       source /etc/profile

 

• 启动

      zkServer.sh start

      zkServer.sh stop

      zkServer.sh status

 

• 集群配置

server.1=192.168.10.10:2888:3888
server.2=192.168.10.11:2888:3888
server.3=192.168.10.12:2888:3888


拷贝至其他服务器：
scp zoo.cfg root@192.168.10.11:/root/soft/zookeeper-3.4.10/conf

当然上面步骤中的 myid 文件也要修改

  启动后查看每个节点的状态：

  一个leader,其他的为follower

  

   

  

kafka安装配置

 

• 下载和解压
  curl -L -O https://mirrors.cnnic.cn/apache/kafka/2.1.1/kafka_2.11-2.1.1.tgz 
  tar zxvf kafka_2.11-2.1.1.tgz
  

• 目录介绍

1. /bin 操作kafka的可执行脚本，还包含windows下脚本

2. /config 配置文件所在目录

3. /libs 依赖库目录

4. /logs 日志数据目录，目录kafka把server端日志分为5种类型，分为:server,request,state，log-cleaner，controller

• 配置

1. 配置zookeeper。进入kafka安装工程根目录编辑config/server.properties

2. kafka最为重要三个配置依次为：broker.id、log.dir、zookeeper.connect，

3. advertised.listeners=PLAINTEXT://192.168.10.11:9092（注意写上IP，表示客户端来连这个IP）

        否则java调用会出现WARN Connection to node 0 could not be established. Broker may not be available.问题

        同时kafka Tool也会连不上

      4.其他kafka server端config/server.properties参数说明和解释如下:

        server.properties配置属性说明

• 启动

    进入目录：

bin ./kafka-server-start.sh ../config/server.properties &