本次使用的kafka为最新的版本,zookeeper均使用kafka自带版本,仅对相关进行配置即可。
一、准备工作
1、环境:ubuntu16
2、安装包:打开此链接 选择下载的路径和相应的数据包,我下载的是 kafka_2.11-2.1.0.tgz 版本
3、安装jdk
jdk分为以下几种:jre、openjdk、 oracle jdk,这里我们要安装的是oracle jdk(推荐安装),过程:
add-apt-repository ppa:webupd8team/java
apt-get update
apt-get install oracle-java8-installer
apt-get install oracle-java8-set-default
二、安装免认证Kafka环境
1、 解压安装包
将已下载的安装包拷贝到机器的目录(目录没有限制)后,直接解压。
tar -zxvf kafka_2.10-0.10.1.0
解压后的目录结构如下图所示:
2、修改配置项
以下3步的修改2)和3)不是必须的,可以根据自己的情况决定。
1) 配置kafka的服务监听端口
进入刚解压的目录,进入config/目录,打开kafka的配置文件server.properties文件,查找字段 host_name:port ,根据自己的IP地址修改,如下图所示,左侧为已经修改的配置项。
2)配置Kafka的日志存储目录
同样是上述1)的文件,查找字段 log.dirs= ,修改为自定义的日志存储路径即可。如下图所示,左侧为我自己自定义的目录(目录必须存在)。
3)配置zookeeper的日志存储目录
在config/目录下,打开配置文件 zookeeper.properties 修改下图所示的字段即可(目录必须存在)。
3、启动
由于kafka是以zookeeper (zookeeper是什么?) 作为文件系统,所以在启动kafka服务之前需要先启动zookeeper服务。进入bin/目录,执行以下命令:
1) 后台启动zookeeper服务
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties
2)后台启动Kafka服务
./kafka-server-start.sh -daemon ../config/server.properties
查看日志文件,确保zookeeper和kafka的启动没有异常(我没有修改默认的日志路径):
3)为了方便将两个命令合成了两个脚本,用于启停服务,脚本在kafka解压文件的根目录下,见二、-1中结构,脚本如下:
启动服务
#/bin/bash
#启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
#启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
停止服务
#/bin/bash
#停止zookeeper
bin/kafka-server-stop.sh
#停止kafka
bin/zookeeper-server-stop.sh
4、 测试
使用kafka自带的脚本我们可以对kafka进行简单的测试。进入bin/目录,执行以下脚本进行测试。
1)生产数据
./kafka-console-producer.sh --broker-list 192.168.207.132:9092 --topic test
如下图所示。
a. 等待输入生产的数据
b. 输入生产数据后回车,并没有报错,说明数据生产成功,可以用消费脚本查看
2)消费数据
./kafka-console-consumer.sh --bootstrap-server 192.168.207.132:9092 --topic test --from-beginning
需要注意的是参数 --from-beginning 表示消费全量,具体的含义请查阅其他资料
如下图所示,主题为test的所有数据。
综上,kafka的免验证环境搭建到验证就结束了,下一篇搭建基于SASL认证的kafka伪集群服务