spark学习9.1：sparkStreaming接kafka

1.kafka介绍

kafka可以作为传输的中间件。

即生产者和消费者中间的代理商。

1.1 kafka中broker 介绍

即kafka中集群的每个服务器，每个服务器就是一个broker

1.2 topic

某类数据的主题。比如，订单数据都丢给订单topic，物流数据都丢给物流topic。

生产

者把数据丢给某个topic，消费者订阅某个topic，拉取数据。

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）

1.3 partition

一个topic会有很大的数据量，如果存在一个broker中可能存不下，所以需要一个分区，partition，把一个topic中的数据，存在不同的broker中。

Partition是物理上的概念，每个Topic包含一个或多个Partition. （topic是逻辑上的概念）

 1.4 Producer

生产者，生产数据方。负责发布消息到Kafka broker

1.5 consumer

消费者，消费数据方。消息消费者，向Kafka broker读取消息的客户端。

1.6 Consumer Group

每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）