dream21st
这个作者很懒,什么都没留下…
展开
-
17 kafka整合springboot和redis实现消息重试机制
1 kafka实现消息重试 本部分,我们用springboot结合kafka搭建一个生产者消费者应用,并实现在下面三种情况下,消息要重复发送: 1、在发送消息前,系统异常; 2、消息发送到broker过程中,生产者异步确认异常; 3、消费者消费消息异常。 我们先搭建一个项目kafka-retry-quene,在该项目下面有一个生产者项目kafka-retry-quene-producer,消费者项目kafka-retr原创 2022-04-21 22:55:43 · 3224 阅读 · 0 评论 -
java.net.UnknownHostException: iZm5e8xpme70yxqoa4zoydZ
本地启动项目连接kafka报错 java.net.UnknownHostException: iZm5e8xpme70yxqoa4zoydZ原创 2022-04-20 22:48:42 · 2327 阅读 · 0 评论 -
16 kafka分区、副本机制,leader选举,分区分配策略
文章目录1 副本机制2 Leader选举3 分区分配策略3.1 RangeAssignor3.2 RoundRobinAssignor3.3 StickyAssignor1 副本机制 kafka在一定数量的服务器上对主题分区进行复制,也就是副本。当集群中的一个broker宕机后系统可以自动故障转移到其他可用的副本上,不会造成数据丢失。##在创建主题的时候可以在后面添加分区的概念,这个表示分区数为3,其中1个leader,2个follower--replication-factor原创 2022-04-20 07:37:52 · 261 阅读 · 1 评论 -
15 kafka消费组管理
1 什么是消费者组 消费者组(consumer group)是kafka提供的可扩展且具有容错性的消费者机制。它具有下面三个特性: 1,消费组有一个或多个消费者,消费者可以是一个进程,也可以是一个线程; 2,group.id是一个字符串,唯一标识一个消费组; 3,消费组订阅的主题每个分区只能分配给消费组一个消费者。2 消费者位移 消费者在消费的过程中记录已消费的数据,即消费位移(offset)信息。每个消费组保存自己原创 2022-04-19 16:27:03 · 257 阅读 · 0 评论 -
14 kafka消费者拦截器
消费者在拉取了分区消息之后,要首先经过反序列化器对key和value进行反序列化处理。处理完之后,如果消费端设置了拦截器,则需要经过拦截器的处理之后,才能返回给消费者应用程序进行处理。 消费端定义消息拦截器,需要实现org.apache.kafka.clients.consumer.ConsumerInterceptor<K, V> 接口。 该接口的代码如下:package org.apache.kafka.clients.consumer原创 2022-04-19 16:04:10 · 548 阅读 · 0 评论 -
13 kafka再平衡及如何避免再平衡
kafka再平衡及如何避免不必要的再平衡原创 2022-04-19 07:45:00 · 697 阅读 · 0 评论 -
12 kafka位移提交及消费组位移管理
kafka消费者位移提交及消费组位移管理原创 2022-04-18 20:02:38 · 320 阅读 · 0 评论 -
11 kafka消费组消费者简介(心跳检测机制,配置参数)
kafka消费组及消费者简介,介绍了消费者和broker的心跳检测机制及消费者的配置参数原创 2022-04-17 22:43:06 · 1481 阅读 · 0 评论 -
10 kafka生产者原理解析及参数配置详解
kafka生产者流程解析及相关配置参数讲解原创 2022-04-17 17:16:42 · 1295 阅读 · 0 评论 -
9 kafka主题(topic)相关操作
topic是kafka中非常重要的核心概念,是用来存储各种类型的数据的,所以最基本的就需要学会如何在kafka中创建、修改、删除的topic,以及如何向topic生产消费数据。关于topic的操作脚本:kafka-topics.sh。1 topic的创建 我们可以通过下面命令创建一个topic_one的主题,这个主题有三个分区三个副本kafka-topics.sh --zookeeper 192.168.43.110:2181,192.168.43.111:2181,原创 2022-04-16 22:29:52 · 809 阅读 · 0 评论 -
8 kafka集群版安装及说明
kafka集群安装原创 2022-04-16 13:55:15 · 975 阅读 · 0 评论 -
7 kafka分区器(自定义随机、hash、轮询分区)
每一条producerRecord有topic名称、可选的partition分区编号,以及一对可选的key和value组成。消息是按照三种策略进入分区:1、如果指定的partition,那么直接进入该partition;2、如果没有指定partition,但是指定了key,使用key的hash选择partition;3、如果既没有指定partition,也没有指定key,使用轮询的方式进入partition。 定义分区器要实现接口org.apache.kafka.c原创 2022-04-14 16:19:35 · 792 阅读 · 0 评论 -
6 kafka序列化器和反序列化器(结合在Springboot中使用)
kafka在生产消息发送到broker之前要经过序列化的过程,消费者在消费消息前,消息会经过反序列化。序列化和反序列化的配置在application.yml可以通过下面方式配置。spring: kafka: producer: #生产者key的序列化器 key-serializer: org.apache.kafka.common.serialization.IntegerSerializer #生产者value的序列化器 va原创 2022-04-14 16:13:11 · 698 阅读 · 0 评论 -
5 kafka生产者拦截器
通常说的kafka拦截器,指的是生产者发送时经过的拦截器,在kafka中实现拦截器要继承ProducerInterceptor接口。原创 2022-04-13 17:50:18 · 901 阅读 · 0 评论 -
4 kafka整合Springboot
本部分来演示一下kafka整合Springboot,先建了一个模块kafka-springboot,项目的pom.xml文件的内容如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch原创 2022-04-13 17:25:31 · 298 阅读 · 0 评论 -
3 kafka生产者消费者初体验
消息发送到broker的过程图如下: 生产者主要的对象有: KafkaProducer , ProducerRecord 。 其中 KafkaProducer 是用于发送消息的类, ProducerRecord 类用于封装Kafka的消息。 KafkaProducer 的创建需要指定的参数和含义:参数说明bootstrap.servers配置生产者如何与broker建立连接。该参数设置的是初始化参数。如果生产者原创 2022-04-12 22:08:39 · 628 阅读 · 0 评论 -
1 kafka简介
1.1 kafka介绍 kafka官网地址:https://kafka.apache.org/ github地址:https://github.com/apache/kafka kafka最初是由Linkedin公司开发,它是一个分布式、分区的、多副本的、多生产者、多订阅者,基于zookeeper协调的分布式日志系统(当然也可以作为消息中间件来使用),常见可以用于日志收集,消息中间件服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶原创 2022-04-12 21:22:37 · 981 阅读 · 0 评论 -
2 kafka在linux下单机安装
本次使用到的相关工具包:jdk-8u181-linux-x64.tar.gz,zookeeper-3.4.14.tar.gz,kafka_2.11-0.10.1.1.tgz1.1 JDK安装 第一步:解压jdk-8u181-linux-x64.tar.gztar -zxvf jdk-8u181-linux-x64.tar.gz 第二步:打开环境变量配置vim /etc/profile 第三步:配置环境变量expor原创 2022-03-31 15:41:44 · 2137 阅读 · 0 评论