Kafka安装与使用

安装Kafka

1. 官网下载一个需要的（最新的）版本 https://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz
2. 解压（tar -zxvf kafka_2.11-1.1.1.tgz）
3. 修改配置（config/server.properties：broker.id log.dirs）
4. Kafka是已编译的，直接使用。

官网地址

https://kafka.apache.org
下载地址：https://kafka.apache.org/downloads

Linux系统安装

1. 安装目录：/usr/local
2. 下载安装包：wget https://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz
3. 解压：tar -zxvf kafka_2.11-1.1.1.tgz
4. 修改配置文件

vim config/server.properties
/broker.id     # 找到broker.id，修改：broker.id=1
/log.dirs      # 找到log.dirs，修改：log.dirs=/usr/local/kafka_log

5. 启动

# 启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
# 启动kafka（第一次启动关闭守护进程启动，方便查查看问题）
bin/kafka-server-start.sh -daemon config/server.properties

创建Topic

[root@VM-4-13-centos kafka_2.13-3.2.1]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a recognized option
        at joptsimple.OptionException.unrecognizedOption(OptionException.java:108)
        at joptsimple.OptionParser.handleLongOptionToken(OptionParser.java:510)
        at joptsimple.OptionParserState$2.handleArgument(OptionParserState.java:56)
        at joptsimple.OptionParser.parse(OptionParser.java:396)
        at kafka.admin.TopicCommand$TopicCommandOptions.<init>(TopicCommand.scala:567)
        at kafka.admin.TopicCommand$.main(TopicCommand.scala:47)
        at kafka.admin.TopicCommand.main(TopicCommand.scala)
// 新版本的kafka，不需要依赖zookeeper来创建topic
[root@VM-4-13-centos kafka_2.13-3.2.1]# bin/kafka-topics.sh --create --bootstrap-server 10.20.90.92:9092 --replication-factor 1 --partitions 1 --topic test

查询Topic

bin/kafka-topics.sh --bootstrap-server 10.20.4.13:9092 --list