【kafka】Part1 - 安装&快速开始

Windows

---

下载地址
解压

windows系统使用bin\windows目录下的批处理来完成下面的步骤

修改配置

详细配置http://kafka.apachecn.org/documentation.html#configuration
这里暂时只修改日志数据存放的目录：config/server.properties文件中log.dirs项

基础命令

创建一个主题

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic 主题名称

查看创建的主题列表

kafka-topics.bat --list --zookeeper localhost:2181

启动生产者

kafka-console-producer.bat --broker-list localhost:9092 --topic 主题名称

启动消费者从头查看消息

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic 主题名称 --from-beginning

测试

由于输入命令太麻烦，这里将命令放到批处理文件里执行
复制下面的代码到txt文件，保存为ANSI格式编码文件到kafka根路径，修改后缀为.bat

@echo off
:start
cls
set i=0
set name=0
echo ===============================
echo 【1】 启动zookeeper服务
echo 【2】 启动kafka服务
echo 【3】 启动zookeeper-shell
echo 【4】 查看创建的主题列表
echo 【5】 创建一个主题
echo 【6】 启动生产者
echo 【7】 启动消费者
echo 【8】 删除log文件
echo ===============================
echo.
set /p i="请选择："
if %i%==1 (goto item1)else if %i%==2 (goto item2)else if %i%==3 (goto item3)else if %i%==4 (goto item4)else if %i%==5 (goto item5)else if %i%==6 (goto item6)else if %i%==7 (goto item7)else if %i%==8 (goto item8)
goto start

:item1
start bin\windows\zookeeper-server-start.bat config\zookeeper.properties
goto start

:item2
start bin\windows\kafka-server-start.bat config\server.properties
goto start

:item3
start bin\windows\zookeeper-shell.bat 127.0.0.1:2181
goto start

:item4
start bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
goto start

:item5
set /p name="输入topic名称："
start bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic %name%
goto start

:item6
set /p name="输入topic名称："
start bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic %name%
goto start

:item7
set /p name="输入topic名称："
start bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic %name% --from-beginning
goto start

:item8
rd /s /Q kafka-logs
md kafka-logs
goto start

• 启动zookeeper服务
• 启动kafka服务
• 创建一个topic
• 查看topic列表
• 启动生产者，输入刚刚创建的topic名称，输入几条消息回车
• 启动消费者，输入刚刚创建的topic名称，可以看到刚刚输入的消息

删除数据

• 删除kafka-logs文件夹下所有文件
• 启动zookeeper-shell
• 执行rmr /brokers命令

Linux

---

先切换到/usr/ocal路径

cd /usr/local

下载

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz

解压

tar -xzf kafka_2.12-2.3.0.tgz

进入目录

cd kafka_2.12-2.3.0/

编辑配置文件

vim config/server.properties

修改日志文件地址

log.dirs=/usr/local/data/kafka/kafka-logs-1

回到kafka根目录，启动zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka

bin/kafka-server-start.sh config/server.properties

创建一个topic，名字为test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看创建的topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

启动生产者，指定名称topic名称：test，输入几条消息回车

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动消费者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning