分布式发布订阅消息系统Kafka单实例测试

1、Kafka简介
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。
无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。


2、Kafka安装和启动


1)下载并解压kafka_2.10-0.10.1.1.tgz
  #tar -xzvf kafka_2.10-0.10.1.1.tgz


2)下载并解压zookeeper-3.4.6.tar.gz
  #tar -xzvf zookeeper-3.4.6.tar.gz


3)启动单实例Zookkeeper服务
  #cd zookeeper-3.4.6
  conf文件夹中新建名zoo.cfg文件，可复制zoo_sample.cfg文件进行相应修改。
  启动服务：
  #bin/zkServer.sh &
  
4)启动Kafka服务
   #cd kafka_2.10
   配置config/server.properties相应信息，如zookeeper.connect；
   启动服务：
   #bin/kafka-server-start.sh config/server.properties &


3、测试：
   1)创建topic
   #bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0307
   通过list命令查看创建的topic:
   #bin/kafka-topics.sh --list --zookeeper localhost:2181
   2)生产消息
    Kafka 使用一个简单的命令行producer，从文件中或者从标准输入中读取消息并发送到服务端。
    默认的每条命令将发送一条消息。运行producer并在控制台中输一些消息，这些消息将被发送到服务端：
    #bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test0307
     I am testing kafka for inputing message into HDFS.
     不发送就ctrl+c退出。
   3)消费消息
     Kafka命令行consumer可以读取消息并输出到标准输出：
     #bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test0307 --from-beginning


4、后续待研究： 
1）这是单实例测试，可以在一台机子上配置多个broker，也可以建立kafka集群。
2）kafka的producer可以来自flume的sink，其consumer可以输出到hdfs中。
参考：http://www.cnblogs.com/cssdongl/p/6077311.html