单机版kafka安装部署文档

一、环境准备

1. 依赖jdk

2. 依赖zookeeper

我们这里直接使用kafka内置的zookeepoer,简单方便

二、下载kafka、解压

1. 官网免费下载

http://kafka.apache.org/downloads

2. 解压

指定目录解压文件

wget http://mirrors.hust.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
tar -zxvf kafka_2.11-2.1.0.tgz -C /opt/bigdata

三、修改配置文件

1. 修改kafka核心配置server.properties

cd /opt/bigdata/kafka_2.11-2.1.0/
vim config/server.properties

#单机版只需修改，消息存放路径即可
#其他配置使用默认
log.dirs=/opt/bigdata/kafka_2.11-2.1.0/kafka-logs

修改完成后创建消息存放目录

mkdir /opt/bigdata/kafka_2.11-2.1.0/kafka-logs

2. 修改内置zk的配置zookeeper.properties

vim config/zookeeper.properties
#指定zk元数据存放路径
dataDir=/opt/bigdata/kafka_2.11-2.1.0/zdata

修改完成后创建zk元数据存放目录

mkdir /opt/bigdata/kafka_2.11-2.1.0/zdata

四、启动服务（这里提供两种启动方式）

启动方式一

先启动zk

cd /opt/bigdata/kafka_2.11-2.1.0/
nohup bin/zookeeper-server-start.sh config/zookeeper.properties  &

启动 kafka

cd /opt/bigdata/kafka_2.11-2.1.0/
nohup bin/kafka-server-start.sh config/server.properties &

启动方式二

先启动zk

cd /opt/bigdata/kafka_2.11-2.1.0/
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

启动 kafka

cd /opt/bigdata/kafka_2.11-2.1.0/
bin/kafka-server-start.sh -daemon config/server.properties

五、验证服务是否成功启动

验证步骤

1. 查看进程是否存在：

jps

结果应如下图

2. 创建一个测试用的topic：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

3. 创建控制台生产者生产数据

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

执行效果如下图：

4. 创建消费者消费数据

打开另一个终端，开启消费者

cd /opt/bigdata/kafka_2.11-2.1.0/
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

命令执行后，在生产者终端输入数据，效果如下图：

六、关闭

正常关闭流程

1. 关闭控制台生产者 Ctrl+c
2. 关闭控制台消费者 Ctrl+c
3. 关闭kafka服务 bin/kafka-server-stop.sh
4. 关闭zk服务 bin/zookeeper-server-stop.sh