![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 79
tomjourney
积善之家 必有余庆
展开
-
centos8启动kafka及kafka相关命令汇总
进入zk根目录;启动zk服务器。原创 2022-09-17 10:58:49 · 768 阅读 · 0 评论 -
kafka再均衡监听器测试
【README】本文使用的kafka是最新的 kafka3.0.0;本文kafka集群有3个节点分别是 centos201, centos202, centos203 ; brokerid 分别为 1,2,3; 本文主要用于测试 再均衡监听器;当有新消费者加入时,会发生分区再均衡;再均衡前就会调用再均衡监听器的 onPartitionsRevoked()方法; 本文的测试主题 hello12,有3个分区,每个分区2个副本;【1】再均衡监听器1)应用场景在消费者退出或进行分区再均衡前.原创 2021-12-12 17:21:28 · 2460 阅读 · 0 评论 -
kafka消费者开发方式小结
【README】1, 本文总结了 kafka消费者开发方式;【1】 kafka消费则【1.1】消费者与消费者组1)消费者: 应用程序需要创建消费者对象,订阅主题并开始接收消息;2)消费者群组:kafka消费者从属于消费者群组;一个群组里的消费者订阅的是同一个主题,每个消费者接收一部分分区消息;3)消费者接收分区消息模型4)往群组里添加消费者是横向伸缩消费能力的主要方式;不要让 消费者数量超过分区数量,多余消费者会被重置;5)只要保证每个应用程序的消费者组id 是唯一的,原创 2021-12-12 22:08:37 · 1351 阅读 · 0 评论 -
kafka消费者接收分区测试
【README】本文演示了当有新消费者加入组后,其他消费者接收分区情况; 本文还模拟了 broker 宕机的情况; 本文使用的是最新的 kafka3.0.0 ; 本文测试案例,来源于 消费者接收分区的5种模型,建议先看模型,refer2 https://blog.csdn.net/PacosonSWJTU/article/details/121853461https://blog.csdn.net/PacosonSWJTU/article/details/121853461【1】kafka测..原创 2021-12-12 22:10:41 · 1425 阅读 · 0 评论 -
kafka生产者开发方式
【README】本文记录了 kafka生产者开发方式;【1】生产者概览【1.1】kafka发送消息过程文末会结合该图来阐述消息发送细节;【1.2】创建kafka生产者1)创建kafka生产者, 有3个必选属性:bootstrap.servers: kakfa集群节点地址; key.serializer: 键序列化器; value.serializer:值序列化器;/* 1.创建kafka生产者的配置信息 */Properties props = new Prop原创 2021-12-10 21:46:01 · 742 阅读 · 0 评论 -
kafka可靠数据传递
【README】本文阐述了kafka可靠消息传递机制;【1】可靠性保证1,在讨论可靠性时,一般使用保证这个词;保证指的是, 确保系统在各种不同的环境下能够发生一致的行为;2,kafka在哪些方面做了保证呢?保证分区消息顺序; 只有当消息被写入分区所有副本时,它才被认为是已提交的;(无论生产者acks设置为多少) 只要有一个副本是活跃的,则已提交消息就不会丢失; 消费者只能读取已提交消息;【2】复制1,kafka复制机制和分区多副本架构是kafka可靠性保证的核心;2.原创 2021-12-08 08:34:19 · 1616 阅读 · 0 评论 -
kafka控制器,复制与存储小结
【README】1,本文主要总结kafka复制,存储细节; 2,本文的kafka集群版本是3.0.0, 有3个broker,分别是 centos201, centos202, centos203 对应的brokerid为 1, 2, 3 ;【1】kafka内部原理【1.1】broker-消息中心点1)broker:一个独立的kafka服务器节点;也称为发送消息的中心点;kafka使用zk维护集群成员关系; 每个broker都有自己的id存储在zk;broker启动时,创建zk节点把自己原创 2021-12-05 22:07:17 · 1857 阅读 · 0 评论 -
org.apache.kafka.common.errors.TimeoutException: Topic not present in metadata 解决方法
【README】本文po出了 topic not present in metadata 的解决方法;很多博文说是 因为 jackson-databind 没有引入,但是我重新引入后,还是没有解决问题;最后,原因在于我要发送消息的分区,topic 没有对应分区会报这个错误;【1】场景重现1)新建topic hello02, 分为3个分区,每个分区2个副本;[root@centos201 kafka3.0.0]# kafka-topics.sh --bootstrap-server.原创 2021-12-05 09:45:28 · 22075 阅读 · 1 评论 -
spring-kafka整合:KafkaTemplate-kafka模板类介绍
【README】1,本文主要关注 KafkaTemplate的重点方法,并非全部方法;2,KafkaTemplate 底层依赖于 DefaultKafkaProducerFactory , 关于 DefaultKafkaProducerFactory 的介绍,refer2spring-kafka整合:DefaultKafkaProducerFactory默认kafka生产者工厂介绍_PacosonSWJTU的博客-CSDN博客【1】 类描述类描述:单例共享 Producer 实例的 Prod..原创 2021-11-13 21:38:39 · 16534 阅读 · 0 评论 -
spring-kafka整合:DefaultKafkaProducerFactory默认kafka生产者工厂介绍
【1】 类描述类描述:单例共享 Producer 实例的 ProducerFactory 实现。此实现将为每次 createProducer() 调用时提供的 Map 配置和可选的 Serializer 实现返回相同的 Producer 实例(如果未启用事务)。如果您使用的序列化器没有参数构造函数并且不需要设置,那么最简单的方法是在传递给 DefaultKafkaProducerFactory 构造函数的配置中针对 ProducerConfig.KEY_SERIALIZER_CLASS_C原创 2021-11-13 18:42:24 · 6931 阅读 · 0 评论 -
转:Kafka事务使用和编程示例/实例
Kafka事务使用和编程示例/实例_JobShow裁员加班实况-微信小程序-CSDN博客一、概述 Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中,或者说是一个原子操作,生产消息和提交偏移量同时成功或者失败。注意:kafka事务和DB事务。在理解消息的事务时,一直处于一个错误理解是,把操作db的业务逻辑跟操作消息当成是一个事务,如下所示:void kakfa_in_tranction(){ // 1.kafa的操作:读取消息或生产消息 kafkaOperation(); /转载 2021-11-13 16:11:40 · 551 阅读 · 0 评论 -
(转) SpringBoot接入两套kafka集群
转自:SpringBoot接入两套kafka集群 - 风小雅 - 博客园引入依赖 compile 'org.springframework.kafka:spring-kafka' 第一套kafka配置 package myapp.kafka; importhttps://www.cnblogs.com/ylty/p/13673357.html引入依赖 compile 'org.springframework.kafka:spring-kafka'第一套kafka配置package转载 2021-11-10 19:08:57 · 2152 阅读 · 0 评论 -
kafak消费者从头开始消费(消费者组)
【README】本文主要用于描述 kafka 消费者如何从头开始消费;【1】从头开始消费1)从头开始消费,需要满足两个条件, 如下:条件1, 使用一个全新的消费者组id; 条件2,指定 auto.offset.reset 为 earliest ;2)代码如下:public static void main(String[] args) { /* 1.创建消费者配置信息 */ Properties props = new Properties(); /*2.给配置信息赋值原创 2021-11-09 17:56:35 · 5700 阅读 · 0 评论 -
(转)Kafka 消费者 Java 实现
转自:Kafka 消费者 Java 实现 - 简书应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息,首先理解 Kafka 中消费者(consumer)和消费者组(consumer group...https://www.jianshu.com/p/1f9e18e926f6据原文作者,以下内容总结自 《kafka权威指南》;应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息,首先理解 Kafka 中消费者(consumer)和消费者组(转载 2021-11-09 17:43:19 · 7391 阅读 · 0 评论 -
Java程序创建Kafka Topic,以及数据生产消费,常用的命令
转自: Java程序创建Kafka Topic,以及数据生产消费,常用的命令_Zyy_z_的博客-CSDN博客_java kafka创建topicKafka简介: Kafka是一个分布式发布——订阅消息传递系统。Kafka快速、可扩展且耐用。它保留主题中的消息源。生产者将数据写入主题,消费者从主题中读取数据。Kafka的特点: 1. 同时为分布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万条消息(50MB),每秒处理55万条消息...https://blog.csdn.net/Zyy_z_/ar转载 2021-11-09 16:45:58 · 2816 阅读 · 0 评论 -
java生产者实现kafka拦截器
【RAEDME】本文中, java客户端作为生产者, centos中consumer线程作为消费者;【1】拦截器简述1)拦截器是什么? 很明显,为了实现面向切面编码,即在 具体逻辑的上下文添加一些逻辑;如逻辑1具体逻辑逻辑22)什么时候调用拦截器?这就要从 kafka生产者发送数据说起了;kafka生产者使用了2个线程来发送数据: step1)生产者中的main线程把数据经过 拦截器-》序列化器-》分区器 处理;然后再把数据写到 RecordAccumulator;..原创 2021-01-02 23:01:59 · 331 阅读 · 0 评论 -
java客户端作为kafka消费者测试
【README】本文主要对 java客户端作为kafka 消费者进行测试, 生产者由 kafka客户端扮演;【1】普通消费者设置消费者组;重置消费者的offset, 即每次都从最头开始消费(默认仅保持7天内数据) ;类似于 命令行 --from-beginningkafka-console-consumer.sh --topic first --zookeeper centos201:2181 --from-beginning小结:从头开始消费,必须满足2个条件;条..原创 2021-01-02 22:46:22 · 623 阅读 · 0 评论 -
java客户端作为kafka生产者测试
【README】本文主要对 java客户端作为kafka 生产者进行测试, 消费者由 centos的kafka命令行线程扮演;【1】普通生产者1.1、生产者代码/** * 普通生产者 */public class MyProducer { public static void main(String[] args) { /* 1.创建kafka生产者的配置信息 */ Properties props = new Properties(); /*2.指定连接的ka...原创 2021-01-01 10:21:51 · 452 阅读 · 0 评论 -
java作为kafka生产者实验及Expiring超时问题解决
【README】 java作为生产者,centos 作为消费者;【1】生产者代码-- pom.xml <!-- 依赖 --> <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0.原创 2020-12-29 21:26:21 · 1529 阅读 · 0 评论 -
kafka集群搭建
【README】【1】搭建kafka集群1、下载 kafka jar包, https://kafka.apache.org/downloadshttps://archive.apache.org/dist/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgz2、修改配置文件; kafka/config/server.properties-- kafka代理实例编号 broker.id=1-- 是否可以删除topicdelete.topic.enable=t原创 2020-12-28 22:53:08 · 143 阅读 · 0 评论 -
kafka 学习 非常详细的经典教程
转自:https://blog.csdn.net/tangdong3415/article/details/53432166一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?首先让我们看几个基本的消息系统术语:Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka...转载 2020-12-27 18:09:47 · 606 阅读 · 0 评论 -
转-Apache kafka 工作原理介绍
转自:https://developer.ibm.com/zh/articles/os-cn-kafka/消息队列消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行–它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息,对应用提供公共的信息交换机制是重要的。...转载 2020-12-26 22:20:29 · 140 阅读 · 0 评论 -
kafka命令行生产者消费者测试
【README】基于命令行开启生产者,消费者线程,测试kafka的消费转发功能;【1】生产者与消费者生产者201[root@centos201 logs]# kafka-console-producer.sh --topic first --broker-list centos201:9092>hello-world>sichuan-changdu>消费者202[root@centos202 logs]# kafka-console-consumer.s.原创 2020-12-20 17:06:26 · 1902 阅读 · 0 评论 -
kafka命令行操作
【README】 kafka集群-- kafka集群 3台机器 centos201 192.168.163.201centos202192.168.163.202centos203192.168.163.203【1】主题topic 操作命令 序号 命令 1 kafka-topics.sh -- create 新增 2 kafka-top...原创 2020-12-20 16:04:56 · 303 阅读 · 1 评论 -
shell脚本启动kafka集群的多台节点
【README】 由于集群有多台机器,启动kafka ,查看其状态,都需要每台机器去执行命令, 可以写个脚本基于ssh免密登录批量执行;【1】启动kafak (kk.sh)#!/bin/bashcase $1 in "start"){ for i in centos201 centos202 centos203 do echo "**********$i kafka start **********" ssh $i "/opt/module/kafka-0.11/bin/..原创 2020-12-20 15:26:51 · 336 阅读 · 0 评论