Windows上 Kafka安装与基本操作

Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列。
Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spark非常好地集成，用于实时流式数据分析。

Kafka安装步骤：

• 安装zookeeper      
  1. 官网下载
  2.  解压
  3. 修改配置文件

     conf \zoo_sample.cfg 修改为zoo.cfg dataDir 修改为本地目录

  4. 启动

     zkserver.cmd

• 安装kafka 
  1. 官网下载
  2. 解压
  3. 修改配置文件

     config\server.properties log.drs修改为本地目录

  4. 启动

     kafka-monitor.bat

• 安装kafka监控工具 KafkaOffsetMonitor
  1. GitHub 下载 KafkaOffsetMonitor-assembly-0.2.1
  2. 修改offsetapp/index.html

     添加

     <script src="//cdn.static.runoob.com/libs/angular.js/1.4.6/angular.min.js"></script>
     <script src="//cdn.static.runoob.com/libs/angular.js/1.4.6/angular-route.js"></script>
     <script src="//cdn.static.runoob.com/libs/angular.js/1.4.6/angular-resource.js"></script>

  3. 新建kafka-monitor.bat

     java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8089 --refresh 10.seconds --retain 1.days

  4. 启动

     kafka-monitor.bat

• kafka操作
  1. 新建topic

      kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic hello

  2. 查看已有的topic

     kafka-topics.bat --list --zookeeper 127.0.0.1:2181

  3. 创建生成者生产消息

     kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic hello

  4. 创建消费者接受消息

     kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic hello --from-beginning