kafka急速入门与核心API解析

kafka环境安装

---

上一篇文章中我们已经对kafka的基本概念、核心思想有了一定的了解和认知，并且掌握了kafka在实际工作中的一些主要的应用场景。那么接下来，我们就一起快速安装吧。

• kafka下载地址：http://kafka.apache.org/downloads.html
• kafka安装步骤：首先kafka安装需要依赖与zookeeper，所以小伙伴们先准备好zookeeper环境（三个节点即可），然后我们来一起构建kafka broker。

 ## 解压命令： 
 tar -zxvf kafka_2.12-2.1.0.tgz -C /usr/local/ 
 
 ## 改名命令： 
 mv kafka_2.12-2.1.0/ kafka_2.12 
 
 ## 进入解压后的目录，修改server.properties文件： 
 vim /usr/local/kafka_2.12/config/server.properties 
 
 ## 修改配置： 
 broker.id=0 
 port=9092 
 host.name=192.168.11.51 
 advertised.host.name=192.168.11.51 
 log.dirs=/usr/local/kafka_2.12/kafka-logs 
 num.partitions=2 
 zookeeper.connect=192.168.11.111:2181,192.168.11.112:2181,192.168.11.113:2181 
 
 ## 建立日志文件夹： 
 mkdir /usr/local/kafka_2.12/kafka-logs 
 
 ##启动kafka： 
 /usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties & 

kafka常用命令

---

我们接下来一起了解几个非常重要的命令，通过这些命令我们对kafka topic partition 进行查看和操作。

• 常用命令：

## 简单操作： 
#（1）创建topic主题命令：（创建名为test的topic， 1个分区分别存放数据，数据备份总共1份） 
kafka-topics.sh --zookeeper 192.168.11.111:2181 --create --topic topic1 --partitions 1 --replication-f 

## --zookeeper 为zk服务列表 
## --create 命令后 --topic 为创建topic 并指定 topic name 
## --partitions 为指定分区数量 
## --replication-factor 为指定副本集数量 

#（2）查看topic列表命令： 
kafka-topics.sh --zookeeper 192.168.11.111:2181 --list 

#（3）kafka命令发送数据：（然后我们就可以编写数据发送出去了） 
kafka-console-producer.sh --broker-list 192.168.11.51:9092 --topic topic1 

#（4）kafka命令接受数据：（然后我们就可以看到消费的信息了） 
kafka-console-consumer.sh --bootstrap-server 192.168.11.51:9092 --topic topic1 --from-beginning 

#（5）删除topic命令： 
kafka-topics.sh --zookeeper 192.168.11.111:2181 --delete --topic topic1 

#（6）kafka查看消费进度：（当我们需要查看一个消费者组的消费进度时，则使用下面的命令）
kafka-consumer-groups.sh --bootstrap-server 192.168.11.111:2181 --describe --group  消费组名称