大数据第17次课笔记

Broker:是kafka的实例，每个服务器上有一个或多个实例，现在我们可以认为每个broker对应一台服务器，kafka集群中的broker要有不重复的编号。broker.id是不重复的
topic:消息的主题，kafka的数据是保存在topic上的，每个broker上都可以创建多个topic
partition:topic的分区（分文件夹），每个topic中的数据可以放在多个文件夹中，可以提高kafka的吞吐量。分区中的数据不能重复。
replication:每个分区的多个副本，副本数量不能大于broker数量，最大是10个。
message:每一条发送消息的主体
consumer group:多个消费者组成一个消费组，同一分区的数据只被一个消费者消费，同一组的消费者可以消费同一topic不同分区的数据，提高kafka的吞吐量。
zookeeper:主要用于通知生产者和消费者，在kafka系统中存在任何新broker或kafka系统中broker失败
producer和broker之间没有负载均衡，broker和consumer之间利用zookeeper进行负载均衡
如果broker和consumer发生变化，zookeeper会发送通知给其他的broker和consumer.
多个消费者组可以同时消费一个topic中的内容，彼此互不干扰
对于一组而言，消费者数量不能大于分区数量，因为每个分区只能绑定一个消费者，一个消费者可以消费多个分区，一个分区只能给一个消费者
发布消息到kafka集群中一个或多个topic。
消费者订阅一个或多个topic,并处理产生的消息。
kafka工作机制：消息传输流程，服务器消息存储策略，与生产者交互，与消费者交互
kafka核心API:producer api,consumer api,streams api,connector api

idea下建立消费者：

 

 

idea下建立生产者（连接hbase）: