SparkStreaming部分：kafka的总结【文字归纳说明】

Kafka
        1).kafka是分布式消息系统，生产者消费者模式，数据默认保存7天。
        2).概念：
            producter:
                消息的生产者，自己决定往哪个partition中生产数据，i).轮循 ii).hash
                
            consumer：
                消息消费者，自己在zookeeper中维护消费者偏移量,每个消费者都有自己的消费者组，不同的消费者组消费同一个topic互不
                影响。同一个消费者组内消费同一个topic，这个topic中的数据只能被消费一次。
            
            broker:
                组成kafka集群的节点，之间没有主从关系，通过zookeeper协调。一个broker可以管理多个partitioin，负责消息的读写，
                存储。
            
            topic：
                一类消息/消息队列，topic是由partition组成的，有多少个？创建的时候可以指定。topic中的一个partition只能被同一个消费者组
                中的一个消费者同时消费。
                
            partition：
                存储数据的文件，partition中有消息的offset，每个partition都由一个broker管理（Leader），每个partition都有副本，
                有几个？创建topic的时候可以指定。
            
            zookeeper：
                存储原数据，topic，broker,partition,offset
        
        3).集群搭建：
            a).上传kafka_2.10-0.8.2.2.tgz包到三个不同节点上，解压。
            b).配置../ kafka_2.10-0.8.2.2/config/server.properties文件
                broker.id：Integer值 从0开始
                log.dirs:真实存储数据位置
                zookeeper.connect:zookeeper集群
            c).启动zookeeper集群，在每个节点上启动kafka:
                bin/kafka-server-start.sh   config/server.properties
        
        4).命令：
            创建topic：
                ./kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181  --create --topic topic2017 --partitions 3 --replication-factor 3
                
            用一台节点控制台来当kafka的生产者：
                ./kafka-console-producer.sh  --topic  topic2017 --broker-list node1:9092,node2:9092,node3:9092
                
            用另一台节点控制台来当kafka的消费者：
                ./kafka-console-consumer.sh --zookeeper node3:2181,node4:2181,node5:2181 --topic topic2017
            
            查看kafka中topic列表:
                ./kafka-topics.sh  --list --zookeeper node3:2181,node4:2181,node5:2181
            
            查看kafka中topic的描述：
                ./kafka-topics.sh --describe --zookeeper node3:2181,node4:2181,node5:2181  --topic topic2017
            
        5).删除kafka中的数据    
            a).在kafka集群中删除topic，当前topic被标记成删除。在每台broker节点上删除当前这个topic对应的真实数据。
                ./kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --delete --topic t1205
            b).进入zookeeper客户端，删除topic信息
                rmr /brokers/topics/t1205
            c).删除zookeeper中被标记为删除的topic信息
                rmr /admin/delete_topics/t1205
            
        6).leader的均衡机制