Kafka安装启动教程

前言
本文讲如何安装启动kafka,并进行测试，其中zookeepr是kafka自带的，本文基本按照官网文档进行安装启动的，并提出可能会出现的问题。官方文档：http://kafka.apache.org/quickstart
本文虚拟机系统：centos7，不过其他版本的Linux系统是一样的~
1、下载
可直接在官网下载对应的版本http://kafka.apache.org/downloads，我下载的是二进制版的，由于我的scala版本是2.11，所以下载kafka_2.11-1.1.0.tgz，大家可以根据自己的实际情况选择对应的版本。执行以下命令即可下载到本地了。
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
2、解压到指定目录
tar -xzf kafka_2.11-1.1.0.tgz -C /opt/
 

3、修改配置文件：
vim server.properties    vim consumer.properties
3.1 server.proptises文件 搜索 listeners关键字，添加IP地址。
  3.2 server.proptises文件 搜索 zookeeper.connect 添加IP地址。
 
 
3.3 vim consumer.properties
 
Group.id与配置文件中的一致

3、启动服务
kafka_2.11-2.3.0 路径下
启动zook:
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 
ps -ef |grep zook
启动kafka:
bin/kafka-server-start.sh -daemon config/server.properties -daemon
ps -ef |grep kafka
 
4、创建
1.创建分区主题
bin/kafka-topics.sh --create --zookeeper 192.168.1.157:2181 --replication-factor 1 --partitions 1 --topic test-consumer-group
2.通过list topic命令查看所有的主题
bin/kafka-topics.sh --list --zookeeper 192.168.1.157:2181

5、修改服务配置文件

修改 logger-server2下application.yml 配置文件
 
  kafka:
    producer:
      retries: 123
      batchSize: 16384
      bufferMemory: 33554432
      keySerializer: org.apache.kafka.common.serialization.StringSerializer
      valueSerializer: org.apache.kafka.common.serialization.StringSerializer
      bootstrapServers: 192.168.1.157:9092
      topic: test-consumer-group
Isenable: false
    consumer:
      bootstrapServers: 192.168.1.157:9092
      groupId: test
      autoOffsetReset: earliest
      enableAutoCommit: true
      autoCommitInterval: 1000
      keyDeserializer: org.apache.kafka.common.serialization.StringDeserializer
      valueDeserializer: org.apache.kafka.common.serialization.StringDeserializer
      topics: test-consumer-group