kafka单机环境搭建和测试

前言

环境准备

在安装单机版kafka时，本机已具备以下环境基础。

• Linux版本：CentOS 7
• JDK版本： jdk-7u71-linux-x64.tar.gz

安装包准备

在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理。所以需要下载以下两个依赖包

需要下载的安装包：

• zookeeper-3.4.5.tar.gz

  下载地址：https://archive.apache.org/dist/zookeeper/

• kafka-2.1.0.tgz

  下载地址：https://archive.apache.org/dist/kafka/2.1.0/

接下来就进入简单粗暴安装测试主题

1 安装zookeeper

1.1 解压安装包

上传安装包到/usr/app下，该路径自定义。解压

# tar -zxvf zookeeper-3.4.5.tar.gz

1.2 配置环境变量

# vim /etc/profile

添加环境变量：

export ZOOKEEPER_HOME=/usr/app/zookeeper-3.4.5
export PATH=$ZOOKEEPER_HOME/bin:$PATH

使得配置的环境变量生效：

# source /etc/profile

1.3 修改配置

进入安装目录的 conf/ 目录下，拷贝配置样本并进行修改：

# cp zoo_sample.cfg  zoo.cfg

指定数据存储目录和日志文件目录（目录不用预先创建，程序会自动创建），修改后完整配置如下：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# 修改日志目录和数据目录，这两个目录待会配置kafka时会用到.
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/log
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

配置参数说明：

• tickTime：用于计算的基础时间单元。比如 session 超时：N*tickTime；
• initLimit：用于集群，允许从节点连接并同步到 master 节点的初始化连接时间，以 tickTime 的倍数来表示；
• syncLimit：用于集群， master 主节点与从节点之间发送消息，请求和应答时间长度（心跳机制）；
• dataDir：数据存储位置；
• dataLogDir：日志目录；
• clientPort：用于客户端连接的端口，默认 2181

1.4 启动

由于已经配置过环境变量，直接使用下面命令启动即可：

zkServer.sh start

1.5 验证

使用 JPS 验证进程是否已经启动，出现 QuorumPeerMain 则代表启动成功。

[root@hadoop001 bin]# jps
3814 QuorumPeerMain

2 安装验证kafka

2.1 解压安装包

上传安装包到/opt/software下，该路径自定义。解压

# tar -zxvf zookeeper-3.4.5.tar.gz

2.2 修改配置

#创建日志目录，在配置时可配置日志输出路径

mkdir /opt/logs/kafka

修改kafka/config下的server.properties

# The id of the broker. 集群中每个节点的唯一标识
broker.id=0
# 监听地址
listeners=PLAINTEXT://hadoop001:9092
# 数据的存储位置
log.dirs=/usr/local/kafka-logs/00
# Zookeeper连接地址
zookeeper.connect=hadoop001:2181

2.3 启动

bin/kafka-server-start.sh config/server.properties

2.4 测试

进入kafka安装的目录，创建测试主题：

注：hadoop001:2181 是本机安装的zookeeper地址

bin/kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic test

查看topic

kafka-topics.sh --list --zookeeper hadoop001:2181


bin/kafka-topics.sh --zookeeper hadoop001:2181 --describe --topic test

kafka生产消息

bin/kafka-console-producer.sh --broker-list hadoop001:9092 --topic test

bin/kafka-console-producer.sh --broker-list hadoop001:9092 --topic test

kafka消费信息

bin/kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --from-beginning --topic test