修改kafka java环境_在Windows环境中安装并使用kafka

1. 安装部署Java

java -version

至于怎么windows怎么安装java，此处不再赘述

2. 安装zookeeper

下载zookeeper并解压，下载地址：http://zookeeper.apache.org/releases.html，

选择自己需要的版本

进入zookeeper设置目录，将zoo_sample.cfg重命名为：zoo.cfg

在编辑器中打开zoo.cfg，将dataDir的值改成自己的data目录(需要新建)

新建zookeeper系统变量ZOOKEEPER_HOME={zookeeper根目录路径}，并把bin目录添加到系统的path变量中

打开新的cmd，输入zkserver，运行Zookeeper服务器，如果安装成功，启动的界面如下：

ZooKeeper JMX enabled by default

Using config: d:\workspace\software/zookeeper-3.4.12\bin\..\conf\zoo.cfg

Starting zookeeper ... STARTED

说明zookeeper已经安装成功并运行在2181端口。

3.安装kafka

下载需要的软件并解压，下载地址：

http://kafka.apache.org/downloads.html

进入kafka安装目录的config目录，修改server.properties文件，如修改的地方如下：

把log.dirs改成自己的目录，一般在kafka安装目录下新建文件夹来存放日志文件

Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181

4.运行kafka服务器

进入kafka安装目录，按下shift +右键，选择 "在此处打开命令窗口"，输入如下命令并按回车

.\bin\windows\kafka-server-start.bat .\config\server.properties

注意：kafka依赖zookeeper,需要事先启动zookeeper.

5. 使用kafka

5.1 创建主题进入kafka安装目录的\bin\windows下按shift +右键，选择“在此处打开命令窗口”，输入如下命令并回车：

kafak-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic test

5.2 创建producer 及consumer来测试服务器

在kafka安装目录的\bin\windows启动新的命令窗口，producer和consumer需要分别启动命令窗口。

启动producter，启动命令如下：

kafka-console-producer.bat --broker-list localhost:9092 --topic test

启动consumer，启动命令如下：

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

在producter窗口输入内容，如果在consumer窗口能看到内容，则说明kafka安装成功

6. kafka常用命令

#列出主题

kafka-topic.bat -list -zookeeper localhost:2181#描述主题

kafka-topics.bat -describe -zookeeper localhost:2181 -topic [topic name]

#从头读取消息

kafka-console-consumer.bat -zookeeper localhost:2181 -topic [topic name] -from-beginning

#删除主题

kafka-run-class.bat kafka.admin.TopicCommand -delete -topic [topic_to_delete] -zookeeper localhost:2181#查看topic的详细信息

./kafka-topic.sh -zookeeper localhost:2181 -describe -topic [topic name]

#为topic增加副本

./kafka-reassign-partitions.sh -zookeeper localhost:2181 -reassignment-json-file json/partitions-to-move.json -execute

#为topic增加partition

./bin/kafka-topics.sh -zookeeper localhost:2181 -alter -partitions 20 -topic [topic name]

#下线broker

./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper localhost:2181 broker [brokerId] --num.retries 3 --retry.interval.ms 60shutdown broker

#luanch console producer, and specifiy the parse key, the key and value is splited by blank symbol

kafka-console-producer.sh --broker-list server-1:9092,server-2:9092,server-3:9092 --topic kafka-action --property parse.key=true --property key.separator=' '#alter topic config-test , sets the property segment.bytes to 200MB

kafka-topics.sh --alter --zookeeper server-1:2181,server-2:2181,server-3:2181 --topic config-test --config segment.bytes=209715200#alter topic config-test , delete the property config segment.bytes

kafka-topics.sh --alter --zookeeper server-1:2181,server-2:2181,server-3:2181 --topic config-test --delete-config segment.bytes=209715200＃查看主题当前己覆盖的配置

kafka-topics.sh --alter --zookeeper server-1:2181,server-2:2181,server-3:2181 --topics-with-overrides --topic config-test

#view the partitions with status under replicated

kafka-topics.sh --describe --zookeeper server-1:2181,server-2:2181,server-3:2181 --under-replicated partitions

#查看(某个特定)主题的哪些分区的Leader 己不可用

kafka-topics . sh --describe --zookeeper server-1:2181,server-2:2181,server-3:2181 --unavailablepartitions [--topic {topic_name}]

#查看某个主题各分区对应消息偏移量,time 参数表示查看在指定时间之前的数据，支持-1(latest),-2 (earliest) 两个时间选项，默认取值为-l 。

kafka-run-class.sh kafka . tools.GetOffsetShell --broker - list server-1:9092,server-2:9092,server-3:9092 --topic kafka- action --time -1