kafka

⼀种高吞吐量的分布式、⽀持分区的（partition）、多副本的 （replication），基于zookeeper协调的消息系统。
1、相关特性：
        稳定性高
        高吞吐量、低延迟
        高并发
        容错好
        良好支持hadoop并行计算
2、术语
        Producer：生产者
        Broker:中间人
        Topic：消息队列的名字
        Partition：分区，每个Topic可以分为多个partition
        Segment：partition物理上有多个segment组成，每个Segment存在这message信息，避免单个partition文件过大的问题
        Consumer：消费者
        Offset：偏移量（消息索引）

shell中操作：

创建Topic：

sh /usr/hdp/3.1.0.0-78/kafka/bin/kafka-topics.sh --create --zookeeper cluster0.hadoop:2181 --replication-factor 1 --partitions 1 --topic lele

创建生产者：

sh /usr/hdp/3.1.0.0-78/kafka/bin/kafka-console-producer.sh --broker-list cluster0.hadoop:6667 --topic lele

创建消费者：

sh /usr/hdp/3.1.0.0-78/kafka/bin/kafka-console-consumer.sh --broker-list cluster0.hadoop:2181 -topic TestKafka --from-beginning