kafka进击之路（一） —— 入门

概述

Kafka是一种高吞吐量的分布式发布订阅消息系统，就是我们常说的消息队列。
基本术语：
1. topic：kafka通过topic来管理不同消息的分类
2. producer：把消息发布到kafka一个topic的过程。
3. consumer：从kafka订阅发布的消息的过程。
4. broker：kafka由一个或者多个服务组成集群，每个服务成为一个broker。
一个发布订阅的kafka消息系统流程如图：

至此，我们对kafka有了一个基本的认知，即一个分布式消息系统，提供不同消息按照不同的topic来进行发布和订阅。

简单安装

单机安装

下载地址：http://kafka.apache.org/downloads.html
本例中我们使用0.8.2.1版本
1. 下载 安装包kafka_2.10-0.8.2.1.tgz
2. 解压，tar –xzf kafka_2.10-0.8.2.1.tgz
3. 进到解压目录，cd kafka_2.10-0.8.2.1
4. 启动服务
先不管配置，启动服务，kafka依赖zookeeper服务，如果没有也不用管，kafka自带简单的zookeeper服务
启动zk：bin/zookeeper-server-start.sh config/zookeeper.properties &
启动kafka：bin/kafka-server-start.sh config/server.properties &
5. 创建topic
bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test
6. 启动发送端，发送消息：
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test
this is a message #控制台输入信息
this is another message #控制台输入信息，输完后按Ctrl+C退出
7. 启动消费端：
bin/kafka-console-consumer.sh –zookeeper localhost:2181 –topic test –from-beginning
即可看到发送端发送的消息。
此时表示我们的单机kafka服务成功。

集群安装

伪集群安装

安装

伪集群即在一台机器上起多个kafka服务实例，组成集群模式
首先复制两个server.properties
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
分别编辑这两个文件，修改结果如下：
config/server-1.properties:
broker.id=1
port=9093
log.dir=/tmp/kafka-logs-1

config/server-2.properties:
broker.id=2
port=9094
log.dir=/tmp/kafka-logs-2
然后分别启动这两个broker：
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &

测试

1. 创建一个topic：
   bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 3 –partitions 1 –topic replicated-test-topic
2. 显示该broker的运行情况：
   bin/kafka-topics.sh –describe –zookeeper localhost:2181 –topic replicated-test-topic
3. 发送消息：
   bin/kafka-console-producer.sh –broker-list localhost:9092 –topic replicated-test-topic
4. 接收消息：
   bin/kafka-console-consumer.sh –zookeeper localhost:2181 –from-beginning –topic replicated-test-topic
5. 如果kill掉其中一个服务，发送和接收消息正常，可以自己验证。

集群安装

集群安装同单机安装情况相同，注意配置server.properties中：
1. broker.id要不同
2. port相同
3. zookeeper.connect一直，可以使用自己的zookeeper服务地址

常用命令

1、启动Kafka
bin/kafka-server-start.sh config/server.properties &
2、停止Kafka
bin/kafka-server-stop.sh
3、创建topic
bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test
4、列举所有的topic
bin/kafka-topics.sh –list –zookeeper localhost:2181
5、列举出所有topic的详细信息
bin/kafka-topics.sh –describe –zookeeper localhost:2181
6、发送信息：
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test
7、获取信息：
bin/kafka-console-consumer.sh –zookeeper localhost:2181 –topic test –from-beginning

官网参考：http://kafka.apache.org/documentation.html#gettingStarted