Kafka 深入浅出——集群安装部署

上一篇我为大家带来了Kafka的基本知识和概念，下面我们将进入实战篇，首先是Kafka的集群安装部署。

• 1、下载安装包（http://kafka.apache.org/downloads）

这里将以大家下载1.x版本的kafka 这也是目前市场上的公司用的比较多的，因为比较稳定了，而且特性和功能基本也足够使用了。

• 2、规划linux安装目录
  /mysoft/install

• 3、上传安装包到node01服务器，并解压(此处的01代表的是你的集群节点之一的代号)

通过FTP工具上传安装包到node01服务器的/kkb/soft路径下，然后进行解压 cd /kkb/soft/ tar
-zxf kafka_2.11-1.1.0.tgz -C /kkb/install/

• 4、修改配置文件

  • 在node01上修改

    • 进入到kafka安装目录下有一个config目录，进行修改配置文件
      

      • node01执行以下命令进行修改配置文件

      vim server.properties
      
      #指定kafka对应的broker id ，唯一
      broker.id=0
      #指定数据存放的目录
      log.dirs=/kkb/install/kafka_2.11-1.1.0/logs
      #指定zk地址
      zookeeper.connect=node01:2181,node02:2181,node03:2181
      #指定是否可以删除topic ,默认是false 表示不可以删除
      delete.topic.enable=true
      #指定broker主机名
      host.name=node01
      
      

• 5、node01进入Kafka安装目录执行以下命令分发kafka安装目录到其他节点

  scp -r kafka_2.11-1.1.0/ node02:$PWD
  scp -r kafka_2.11-1.1.0/ node03:$PWD
  

• 6、修改node02和node03上的配置

  • node02执行以下命令进行修改配置broker.id和host.name需要修改

    vi server.properties
    
    #指定kafka对应的broker id ，唯一
    broker.id=1
    #指定数据存放的目录
    log.dirs=/mysoft/install/kafka_2.11-1.1.0/logs
    #指定zk地址
    zookeeper.connect=node01:2181,node02:2181,node03:2181
    #指定是否可以删除topic ,默认是false 表示不可以删除
    delete.topic.enable=true
    #指定broker主机名
    host.name=node02
    

• node03执行以下命令进行修改配置

  cd /mysoft/install/kafka_2.11-1.1.0/config/
    vi server.properties
    
    #指定kafka对应的broker id ，唯一
    broker.id=2
    #指定数据存放的目录
    log.dirs=/mysoft/install/kafka_2.11-1.1.0/logs
    #指定zk地址
    zookeeper.connect=node01:2181,node02:2181,node03:2181
    #指定是否可以删除topic ,默认是false 表示不可以删除
    delete.topic.enable=true
    #指定broker主机名
    host.name=node03
  

3.1、 kafka集群启动和停止

3.1.1、 启动

• 先启动zk集群

• 然后在所有节点执行脚本

  cd /mysoft/install/kafka_2.11-1.1.0/
  nohup bin/kafka-server-start.sh config/server.properties 2>&1 & 
  
  再执行 jps 命令看Kafka是否启动
  
  

3.2.1、 停止

• 所有节点执行关闭kafka脚本

  cd /mysoft/install/kafka_2.11-1.1.0/
  bin/kafka-server-stop.sh 
  

以上便是Kafka集群安装部署的所有内容