【kafka】kafka高可用集群故意挂了一台，控制台无法写入数据

最新推荐文章于 2024-10-08 15:41:48 发布
最新推荐文章于 2024-10-08 15:41:48 发布
阅读量447 收藏
点赞数 19
分类专栏： 大数据-kafka 文章标签： kafka 数据库 分布式
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/131847229
版权
大数据-kafka 专栏收录该内容
403 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏

在这里插入图片描述

1.场景1

1.1.概述

一个环境搞成了高可用环境，然后故意挂掉一台，然后想看看数据是否还能正常的写入和消费。

kafka的topic详情如下，挂掉的是1001对应的机器。

Topic:topic_lcc  PartitionCount:18       ReplicationFactor:2     Configs:
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Kafka整理-如果Kafka集群中的一个Broker宕机，会发生什么？如何处理？
不务正业的猿
03-19 688
通过上述措施，即使Kafka集群中的一个Broker宕机，也可以最大限度地减少对业务的影响，并确保数据的完整性和可用性。重要的是要有预先规划的应对策略，并保持系统的监控和维护，以应对可能出现的故障。如果宕机的Broker是某些分区的领导者（Leader），Kafka将在存活的Broker中为这些分区选举新的领导者。宕机可能导致集群的整体性能下降，因为剩余的Broker需要承担更多的工作负载。维持足够的副本数量，确保即使在多个Broker宕机的情况下，数据仍然可用。
关于Kafka其中一个Broker挂掉后，生产者正常，消费者无法消费的问题
HFUT_SIAS的博客
11-19 3291
昨晚运维同事报告，生产集群的kafka写数据正常，但是下游消费数据全都出错。 当时核查发现，是因为broker0因为内存溢出（待核查，感觉应该是ulimit的问题）后宕了。其他broker正常，当时很奇怪，所有topic都做了副本，按理应该挂掉一个broker应该能正常消费啊。 由于影响生产，赶紧把broker0重启了。后来发现下游所有消费者都从earliest消费（我们的程序也是设置的earliest，这样即使出问题，也不会丢数据），但是按理这个设置仅当首次消费时生效，后续重启程序，都会继续从断点消费。
Kafka基于Zookeeper搭建高可用集群实战
长沙老码农
03-03 1万+
目录 1、前言 1.1 高可用的由来 1.2 相关术语 2、架构图 3、发送消息流程 4、部署kafka&zookeeper集群 4.1 准备工作 4.2 启动zookeeper集群 4.3 启动kafka集群 4.4 测试 5、 kafka集群管理控制台安装 5.1 安装配置 5.2 控制台访问 6、Java API操作 6.1 本地DNS映射配置 6.2 pom依赖 6.3 生产者类 6.4 消费者类 7、分区/片备份 8、集群监控 8.1 开启J.
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
万字长文| 在 Kubernetes 上设计和测试高可用的 Kafka 集群
NewTyun的博客
05-18 1343
新钛云服已为您服务1491天在本文中，我们将了解 Kafka 的架构以及它如何通过复制分区支持高可用性。然后，我们也可以自己实现一个 Kafka 集群以使用标准 Kubernetes 资源实现高可用性，并了解它是如何做到高可用的，从而避免单点故障问题。在最简单的基础环境中，Kafka 的架构由单个 Broker 服务器及其作为客户端的生产者和消费者组成。·生产者创建记录...
Kafka（九）跨集群数据镜像
yunyun1886358的专栏
01-28 1361
下面就一个笔者公司的实际的案例，结合上述的理论知识，来说明Kafka灾备解决方案是如何应用到实际的生产当中的，我们暂且称之为H公司。H公司近年来在进行IT系统的数字化转型，采用了事件驱动（EDA）的架构，对公司数十个独立的IT系统进行重构和整合。事件驱动公有云和私有云/遗留系统之间的消息订阅与发布消息队列Kafka作为一个消息的临时缓存H公司在托管的数据中心KSG搭建了一个Kafka集群，我们称之为PROD集群。集群采用了RedHat的AMQ Stream产品，部署在OCP容器平台中。
记一次Flink通过Kafka写入MySQL的过程
m0_48830183的博客
01-23 1644
这个方法是测试成功了，但是跑了一会儿就出现数据的积压和内存oom了，因为我设定的是1毫秒生产一条数据，写入kafka也需要一定的时间，加上电脑内存不足，有点卡，这个方案也被pass了。总体思路：source -->transform -->sink ,即从source获取相应的数据来源，然后进行数据转换，将数据从比较乱的格式，转换成我们需要的格式，转换处理后，然后进行sink功能，也就是将数据写入的相应的数据库DB中或者写入Hive的HDFS文件存储。至此，Transform_1部分结束~~~！
Flink最后一站___Flink数据写入Kafka+从Kafka存入Mysql
Maynor的博客
07-13 861
前言 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 今天为大家带来Flink的一个综合应用案例:Flink数据写入Kafka+从Kafka存入Mysql 第一部分:写数据到kafka中 public static void writeToKafka() throws Exception{ Properties props = new Properties(); prop
kafka控制台模拟消费_Kafka集群操作
weixin_39824223的博客
12-20 175
kafka集群操作-控制台操作创建一个Topic创建了一个名字为test的主题， 有三个分区，有两个副本node01执行以下命令来创建topiccd /export/servers/kafka_2.11-0.10.0.0bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 2 -- partitions ...
kafka-windows集群部署
weixin_42924400的博客
10-05 508
部署本文步骤可以先阅读这一篇博客，这篇是关于单机kafka部署测试的。本文用到的文件均是这一篇博客中的文件修改配置部署的。kafka基本概念以及用法。
「Kafka」Kafka消息可靠性和重复消费问题（五）
技术路上的探险家
10-08 874
在 Kafka 中，实现消息的和是保证数据一致性和系统稳定性的关键。Kafka 提供了多种机制来实现这两个目标。
PostgreSQL的WAL日志优化及验证
Java_fenxiang的博客
10-05 851
在应用负载不变的情况下可以通过如下方法进行WAL优化登录后复制 1) 延长checkpoint时间间隔 FPI产生于checkpoint之后第一次变脏的page，在下次checkpoint到来之前，已经输出过FPI的page是不在需要再次输出FPI。因此checkpoint时间间隔越长，FPI产生的频度会越低。增大ch...
鲁班到家上门安装维修系统源码开发之结构功能解析
最新发布
weixin_43744973的博客
10-08 1074
鲁班到家上门安装维修系统的源码开发是一个复杂但富有成效的过程。通过详细的需求分析、技术选型、功能模块设计以及前后端分离开发，该系统不仅提升了服务效率，还通过数字化管理优化了用户体验。未来，该系统有望在智能家居售后服务领域发挥更加重要的作用，引领行业向更加高效、专业、透明的方向发展。
【2024】基于mysqldump的数据备份与恢复
皮皮的博客
10-03 983
本文记录了mysqldump对于MySQL数据库的备份与恢复用法
MySQL之复合查询与内外连接
zdlynj的博客
09-30 1490
前面我们讲解的mysql表的查询都是对一张表进行查询，即数据的查询都是在某一时刻对一个表进行操作的。而在实际开发中，我们往往还需要对多个表同时进行查询。我们这里使用的测试表，为雇员信息表(来自Oracle 9i的经典测试表)：EMP员工表，DEPT部门表，SALGRADE工资等级表。
ATAM需求说明-系统架构师（七十六）
ke1ying的博客
10-08 1037
1体系结构权衡分析法ATAM(Architecture Trade Off Analyzer Method)是一种常见的结构权衡分析法，该框架主要关注系统的（），针对性能、安全性、可用性和可修改性，在系统开发前进行分析、评价和这种。A共享数据库的集成方式通常将应用程序的数据存储在一个共享数据库中，通过制定统一的数据库模式来处理不同应用集成需求。场景和需求的收集，架构视图和场景的实现，属性模型的构造和分析，架构评价和折中。7企业信息资源集成管理的前提是对企业（）的集成，其核心是对企业（）的集成。
2024Java最新面试题总结（针对于一些小厂、中厂）
weixin_62375676的博客
10-07 1097
2024最新Java面试题，针对一些小厂，中厂
Flume-Kafka整合指南：搭建与执行步骤
1. 设置Kafka Sink: Flume使用KafkaSink将数据发送到Kafka集群。为了实现这一功能，需要将Kafka的生产者库（通常是`kafka-clients.jar`）添加到Flume的`lib`目录下，这样Flume才能理解如何与Kafka进行通信。 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值