Kafka

            kafka
             (消息队列)
1、kafka:在流式计算中，kafka一般用于数据缓存，storm通过kafka的数据进行计算。
2、kafka的特性：
    高吞吐量、低延迟
    可扩展性
    持久性、可靠性
    容错性
    高并发
3、kafka的核心组件：
    （1）broker：kafka的节点，一个kafka节点就是一个broker
    （2）topic：一类消息，消息存放目录即主题
    （3）partition：topic物理上的分组，一个topic可以有多个partition，每一个partition都是一个有序的队列
    （4）segment：partition的物理上是由segment组成
    （5）producer：生产message发送到topic
    （6）consumer：订阅topic的message，consumer作为一个线程来消费
    （7）consumer group：consumer的组，包含多个consumer

4、单机模式的搭建以及使用

（1）开启kafka自带zookeeper:

前台运行：

bin/zookeeper-server-start.sh config/zookeeper.properties

后台运行：

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &

（2）开启kafka:

前台运行：

bin/kafka-server-start.sh config/server.properties

后台运行：

nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
（3）创建kafka主题：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

（4）显示kafka所有主题：

bin/kafka-topics.sh -list -zookeeper localhost:2181 

（5）创建kafka生产者：producer

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

（6）创建kafka消费者：customer
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

 

5、Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)这个是kafka的版本与Scala的版本不兼容，具体的做法就是去官网检查kafka对应的版本。