kafka 安装,使用教程

记录一下，安装过程
风来了.fox

1.JAVA JDK 安装和环境变量配置

http://blog.csdn.net/fenglailea/article/details/52457731

2.kafka 下载

http://kafka.apache.org/downloads.html
选择【Binary downloads】下载
这里选择当前最新版（2016-09-07）：
Scala 2.11 - kafka_2.11-0.10.0.1.tgz (asc, md5)
可以直接使用命令下载

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz

3.安装

tar -zxvf kafka_2.11-0.10.0.1.tgz
cd kafka_2.11-0.10.0.1

4.目录简介

xx/bin 启动,停止等命令。
xx/config 配置文件
xx/libs 类库

5.启动

按如下顺序启动
启动Zookeeper server

bin/zookeeper-server-start.sh config/zookeeper.properties &

启动Kafka server

bin/kafka-server-start.sh config/server.properties &

6.停止

按如下顺序 停止
停止Kafka server

bin/kafka-server-stop.sh

停止Zookeeper server

bin/zookeeper-server-stop.sh

7.测试

7.1 producer

执行

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

7.2 consumer

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

以上 需要2个shell窗口
在producer 端输入字符串并回车，
在consumer端就会显示 你刚输入的数据

8.kafka创建删除topic

8.1创建

方法一：自动创建

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

方法二：
创建一个拥有3个副本,1个分区的topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic test-new

8.2删除

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

删除kafka存储目录（server.properties文件log.dirs配置，默认为”/tmp/kafka-logs”）相关topic目录删除zookeeper “/brokers/topics/”目录下相关topic节点

9.查看统计topic

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

输出

Topic:test      PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: test     Partition: 0    Leader: 0       Replicas: 0     Isr: 0 

第一行是对所有分区的一个描述，然后每个分区都会对应一行，因为我们只有一个分区所以下面就只加了一行。
leader：负责处理消息的读和写，leader是从所有节点中随机选择的.
replicas：列出了所有的副本节点，不管节点是否在服务中.
isr：是正在服务中的节点.

x.其他问题

x.1 Error: Could not find or load main class config.zookeeper.properties

原因：你下载的是 源码，需要编译后才可以安装使用。
解决： 按 2 ，下载已编译的程序进行安装