kafka
文章平均质量分 60
kafka
薛定谔的猫1981
技术博客
展开
-
Kafka(八) 使用JAVA代码编写生产者向kafka发送数据,编写消费者消费数据
使用生产者命令,生产数据kafka-console-producer.sh --broker-list localhost:9092 --topic test。再运行下边生产者代码我们在上边的服务器端会收到JAVA客户端发送的数据。最后在代码的console端可以看到在服务器上发送的数据。首先我们运行消费者代码,接着在服务器上。先在服务器端启动消费者监听,原创 2024-08-04 18:53:32 · 440 阅读 · 0 评论 -
Kafka(七) offset机制
Offset 是 Kafka 中标识消息在分区内位置的一个唯一标识符。每个消息都有一个对应的 Offset 值,用于表示消息在分区中的相对位置。Offset 的管理对于确保消息处理的顺序性和容错性非常重要。就是消费的位置偏移量offset 是 Kafka 为每条消息分配的一个唯一的编号,它表示消息在分区中的顺序位置。offset 是从 0 开始的,每当有新的消息写入分区时,offset 就会加 1。offset 是不可变的,即使消息被删除或过期,offset 也不会改变或重用。原创 2024-08-04 18:29:42 · 951 阅读 · 0 评论 -
Kafka(六) 分区副本机制
副本可以是主副本或者是副本。主副本是负责处理分区读写请求的副本,其他的是副本。当 Leader 副本所在的节点发生故障时,Kafka 可以从副本中选择一个新的 Leader 副本来继续服务,从而实现故障转移,保证系统的可用性。每个分区可以配置多个副本,这些副本分布在不同的 Broker 节点上,一旦某个节点出现故障,系统可以从其他副本中继续提供服务,保证数据不丢失。副本可以分布在不同的节点上,允许客户端从最近的副本读取数据,这样可以降低读取延迟并提高读取吞吐量。的主题,有3个分区,副本因子为2。原创 2024-08-04 17:50:37 · 217 阅读 · 0 评论 -
Kafka(五) Topic之分区
例如,用户 1 发送了 3 条消息:A、B、C,默认情况下,这 3 条消息是在不同的 Partition 中(如 P1、P2、P3)。Topic 看做了一个队列,实际上,一个 Topic 是由多个队列组成的,被称为【Partition(分区)】。消息在不同的 Partition 是不能保证有序的,只有一个 Partition 内的消息是有序的。生产者发送消息的时候,这条消息会被路由到此 Topic 中的某一个 Partition。例如,处理用户消息,可以让某一个用户所有消息都在一个 Partition。原创 2024-08-04 16:47:59 · 205 阅读 · 0 评论 -
Kafka(四)topic介绍
Topic 是消息流的分类:每个 Topic 都是一个类别或名称,消息在发布时会被发送到特定的 Topic 中。多消费者支持:一个 Topic 可以被多个消费者订阅,同时读取同一个消息流。如果是消费者组接收消息,Kafka 会把一条消息路由到组中的某一个服务。Topic 是生产者发送消息的目标地址,是消费者的监听目标。然后,这条消息被记录和存储在这个队列中,不允许被修改。接下来,消息会被发送给此 Topic 的消费者。但是,这条消息并不会被删除,会继续保留在队列中。Topic 扮演一个消息的队列。原创 2024-08-04 16:00:57 · 314 阅读 · 0 评论 -
Kafka(三)基本指令
参数 --topic 指定 Topic 名,–partitions 指定分区数,–replication-factor 指定备份(副本)数。Kafka中的消息以topic为单位进行划分,生产者通过topic将消息发送到Kafka集群,消费者也通过topic从集群拉取消息。Kafka提供了一个命令行工具,可以从输入文件中或者从标准输入中读取消息,并发送到指定的topic。Kafka的topic可以通过修改配置文件的方式进行分区数的增加,但是减少分区数是不被允许的。修改Topic的Partition数量。原创 2024-08-04 15:24:23 · 134 阅读 · 0 评论 -
Kafka(二)安装
kafka安裝,java程序原创 2024-07-30 17:40:14 · 282 阅读 · 0 评论 -
Kafka(一)介绍
kafka原创 2024-08-04 11:23:30 · 249 阅读 · 0 评论