Kafka
文章平均质量分 73
Kafka相关
程序员·小李
不知道要干什么的时候,停一停,想一想;知道想要什么的时候,努努力,拼一拼。
展开
-
Kafka
Kafka的机制 使用基于topic及partition的发布-订阅模式进行的: 配置依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 配置集群的地址(spring.kafka.bootstrap-servers): spr原创 2021-01-23 19:00:40 · 255 阅读 · 0 评论 -
安装并体验kafka
下载 http://kafka.apache.org/downloads 解压 tar zxvf xxx.tgz 启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 出现如下字样,说明启动成功 启动kafka bin/kafka-server-start.sh config/server.properties 出现如下字样说明启动成功,默认端口9092 新增to...原创 2021-12-25 22:45:46 · 207 阅读 · 0 评论 -
异步解耦的消息模式
一般存在两种消息模式,队列模式和发布-订阅模式。 队列模式 生产者生产消息至队列,消费者从队列中获取消息消费。每个消息仅被消费一次。 可以理解为,这种消息模式下,他们以处理为导向,并不关心这个消息是由谁来处理、被几个人处理,每个消息只能被处理一次,处理完毕便会被移除。 发布-订阅模式 消息生产者生产消息到指定的topic,订阅这个topic的消费者都可以收到这个消息,每个消息允许被不同的group消费。 这种模式下,以topic为中心进行消息处理,同一条消息可以被多次消费..原创 2021-12-26 08:53:23 · 998 阅读 · 0 评论 -
Kafka的安装
这是因为关闭日志片段需要10天的时间,而根据配置的过期时间,还需要再保留7天时间(要等到日志片段里的最后一个消息过期才能被删除)。ZooKeeper采用集群化的思想,如果需要部署集群,一般采用公共配置+myId配置的方式,所有节点共享公共配置,myId是每个节点在指明自己的id是多少。当日志片段大小达到log.segment.bytes指定的上限(默认是1GB)时,当前日志片段就会被关闭,一个新的日志片段被打开。--zookeeper知道zookeeper的地址。...原创 2022-07-23 10:25:14 · 308 阅读 · 0 评论 -
初识Kafka
例如有A,B,C,1,2,3,4七个消费者,因为1,2,3,4是彼此协同,A,B,C彼此协同,还想让1,2,3,4与A,B,C直接互不影响,我们可以将他们分组。又因为单个topic的消息是按partition存储的,单个partition又是被唯一分配给一个组内的单个指定的消费者,反过来单个消费者可以消费多个partition(人力不足的情况),这就是partition所属于这个消费者,叫所属权。实时流处理,便于消息内容的合并等功能的实现,需要区别于Hadoop的离线流处理,这个是在线的。......原创 2022-07-22 07:45:56 · 295 阅读 · 0 评论 -
Kafka消息的生产
如果acks=1,只要集群的首领节点收到消息,生产者就会收到一个来自服务器的成功响应。如果消息成功写入Kafka,就返回一个RecordMetaData对象,它包含了主题和分区信息,以及记录在分区里的偏移量。如果键不为空,并且使用了默认的分区器,那么Kafka会对键进行散列,然后根据散列值把消息映射到特定的分区上。我们知道为了实现高可用,Kafka的分区是建立副本的,指定这个参数也是为了高可用,防止消息丢失。acks参数指定了必须要有多少个分区副本收到消息,生产者才会认为消息写入是成功的。...原创 2022-07-23 15:16:37 · 1488 阅读 · 0 评论 -
Kafka消息的消费
为了能够继续之前的工作,消费者需要读取每个分区最后一次提交的偏移量,然后从偏移量指定的地方继续处理。简而言之,为每一个需要获取一个或多个主题全部消息的应用程序创建一个消费者群组,然后往群组里添加消费者来伸缩读取能力和处理能力,群组里的每个消费者只处理一部分消息。为了避免消费者关闭时无法提交偏移量,在关闭时执行commitSync(),在每次处理时使用commitAsync()这样可以提高吞吐量的同时,保证数据的提交。消费者群组内的消费者订阅的是相同的主题,每个消费者接收主题一部分分区的消息。...原创 2022-07-23 16:34:29 · 2315 阅读 · 0 评论