kafka基础

搭建与使用

环境搭建

1. 安装依赖环境
   1. jdk（yum install java-1.8.0-openjdk*）
   2. zookeeper

      # 下载 zookeeper
      wget wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
      # 安装 zookeeper
       tar ‐zxvf apache-zookeeper-3.5.9-bin.tar.gz
      # 配置与启动 zookeeper
      cd cd apache-zookeeper-3.5.9-bin
      cp conf/zoo_sample.cfg conf/zoo.cfg
      bin/zkServer.sh start
      
      # 验证是否安装成功
      bin/zkCli.sh 
      ls / #查看zk的根目录相关节点

2. 安装kafka

   1. 下载并解压

      # 2.11是scala的版本，2.4.1是kafka的版本 
      wget https://archive.apache.org/dist/kafka/2.8.2/kafka_2.13-2.8.2.tgz
      tar ‐xzvf kafka_2.13-2.8.2.tgz
      cd kafka_2.13-2.8.2

   2. 修改配置（修改配置文件config/server.properties）

      #broker.id属性在kafka集群中必须要是唯一 
      broker.id=0 
      #kafka部署的机器ip和提供服务的端口号 
      listeners=PLAINTEXT://127.0.0.1:9092 
      #kafka的消息存储文件 
      log.dir=/usr/local/data/kafka‐logs 
      #kafka连接zookeeper的地址(最好不要放在根目录，可以根据业务线来取区分)
      zookeeper.connect=127.0.0.1:2181/kafka

   3. 启动服务

      # 启动kafka，运行日志在logs目录的server.log文件里 
      bin/kafka‐server‐start.sh ‐daemon config/server.properties #后台启动，不会打印日志到控制台 
      或者用 
      bin/kafka‐server‐start.sh config/server.properties & 
      # 我们进入zookeeper目录通过zookeeper客户端查看下zookeeper的目录树 
      bin/zkCli.sh 
      ls / #查看zk的根目录kafka相关节点 
      ls /brokers/ids #查看kafka节点 
      # 停止kafka 
      12 bin/kafka‐server‐stop.sh