Kafka入门

1.安装与启动

1.1 zookeeper安装

Kafka需要依赖Zookeeper才能运行。

1)登录主机，执行以下命令，下载并解压Zookeeper

$ cd /opt $ wget http: //mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz  $ gzip -d zookeeper- 3.4 . 6 .tar.gz  $ tar -xvf zookeeper- 3.4 . 6 .tar

(2)进入conf目录，将示例的配置文件zoo_sample.cfg改名为zoo.cfg，作为我们的配置文件使用，命令如下

$ cd zookeeper- 3.4 . 6 /conf $ mv zoo_sample.cfg zoo.cfg

(3)进入bin目录，执行zkServer.sh的start命令启动Zookeeper服务

$ cd .. $ cd bin $ ./zkServer.sh start

(4)提示以下内容，启动成功

JMX enabled by  default Using config: /opt/zookeeper- 3.4 . 6 /bin/../conf/zoo.cfg Starting zookeeper ... STARTED

这时我们以默认的配置启动了Zookeeper服务，使用的是2181端口。

有关Zookeeper的相关知识，这里不做赘述。

1.2  Kafka的安装与启动

(1)登录主机，执行以下命令，下载并解压Kafka

$ cd /opt $ wget http: //mirrors.cnnic.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz $ gtar xvzf kafka_2. 11 - 0.9 . 0.1 .tgz

(2)修改kafka_2.11-0.9.0.1/config目录下的server.properties文件，找到zookeeper.connect一项，修改为tc-host的地址，如下：

zookeeper.connect=localhost : 2181

注意，默认是访问本机上部署的Zookeeper，由于我们是将zookeeper部署在另一台主机上，所以要修改地址。

(3)执行bin目录下的kafka-server-start.sh命令启动Kafka，以server.properties文件作为参数，启动Kafka

$ cd kafka_2. 11 - 0.9 . 0.1 $ ./bin/kafka-server-start.sh ./config/server.properties &

命令后面的&符号是将启动的Kafka服务设置为后台进程，方便我们进一步的操作。

终端输出一系列的日志以后，启动成功。

...... [ 2016 - 05 - 25  19 : 53 : 06 , 410 ] INFO Registered broker  0  at path /brokers/ids/ 0  with addresses: PLAINTEXT -> EndPoint(tc-newhost.office.mos, 9092 ,PLAINTEXT) (kafka.utils.ZkUtils) [ 2016 - 05 - 25  19 : 53 : 06 , 423 ] INFO Kafka version :  0.9 . 0.1  (org.apache.kafka.common.utils.AppInfoParser) [ 2016 - 05 - 25  19 : 53 : 06 , 423 ] INFO Kafka commitId : 23c69d62a0cabf06 (org.apache.kafka.common.utils.AppInfoParser) [ 2016 - 05 - 25  19 : 53 : 06 , 424 ] INFO [Kafka Server  0 ], started (kafka.server.KafkaServer) [ 2016 - 05 - 25  19 : 53 : 06 , 713 ] INFO [ReplicaFetcherManager on broker  0 ] Removed fetcher  for  partitions [test, 0 ],[test2, 0 ],[tes, 0 ] (kafka.server.ReplicaFetcherManager) [ 2016 - 05 - 25  19 : 53 : 06 , 763 ] INFO [ReplicaFetcherManager on broker  0 ] Removed fetcher  for  partitions [test, 0 ],[test2, 0 ],[tes, 0 ] (kafka.server.ReplicaFetcherManager)

1.3 简单功能验证

Kafka成功启动后，可以通过一些简单的命令来验证一下功能。

(1)创建一个名为test的topic

$./bin/kafka-topics.sh --create --zookeeper  localhost : 2181  --replication-factor  1  --partitions  1  --topic test

(2)查询topic的属性

$./bin/kafka-topics.sh --describe --zookeeper  localhost : 2181  --topic test

(3)生产者连接broker发送消息

$./bin/kafka-console-producer.sh --broker-list localhost: 9092  --topic test hello

在终端执行该命令后，会进入到一个连续输入的状态，输入一条消息后，按回车换行，可以直接输入下一条消息，直到按下Control+C结束这个状态。

(4)消费者获取消息

$./bin/kafka-console-consumer.sh --zookeeper  localhost : 2181  --from-beginning --topic test hello

消费者获取消息成功，至此，说明一个基本的Kafka环境安装并启动成功了。

1.4  启动命令与配置文件

$./bin/kafka-server-start.sh ./config/server.properties &

启动命令是以配置文件为参数，按照相关的配置来启动的。server.properties是默认的配置文件，几个比较常用的配置项包括：

(1)broker.id  broker的id号

(2)port  端口

(3)zookeeper.connect  zookeeper的连接地址

(4)log.dirs  日志的目录

1.5  topic相关的参数与返回信息

上文在演示topic相关的命令时，输入与输出如下：

$./bin/kafka-topics.sh --create --zookeeper localhost : 2181  --replication-factor  1  --partitions  1  --topic test $./bin/kafka-topics.sh --describe --zookeeper  localhost : 2181  --topic test   Topic:test PartitionCount: 1     ReplicationFactor: 1  Configs:      Topic: test Partition:  0     Leader:  0    Replicas:  0  Isr:  0

create命令的replication-factor是设置该topic在多少个broker上存储。

describe命令的返回信息中，罗列了所有partition的信息，其中：

(1)Partition是编号

(2)Leader是一个broker的编号，该broker存储了当前partition，并且被选举为broker列表中的Leader。在Kafka中，只有Leader节点会负责消息的读和写，其他broker只是做备份

(3)Replicas是存储了该partition的broker列表

(4)Isr是当前可用的broker列表

2.Kafka文件存储机制

参考：http://tech.meituan.com/kafka-fs-design-theory.html