Kafka误删zk元数据，全部删除（仅限测试环境）

最新推荐文章于 2024-06-15 06:34:12 发布
最新推荐文章于 2024-06-15 06:34:12 发布
阅读量912 收藏
点赞数
文章标签： 大数据
原文链接：https://my.oschina.net/112612/blog/1798099
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

  • 背景：

    在测试kafaka connect时，每次为了清理脏数据，直接将topic删除掉，然后进入zk将相应的topic删除，一次一不小心将zk中的数据全部删除了，导致kafka启动不起来。

  1. 在kafka大神的指导下，选择了最简单也是最暴力的方法：将zk和kafka的数据全部清理干净，然后重启，具体步骤如下： 1.首先分别将zk和kafka进程停掉；
  2. 将zk配置文件zoo.cfg中配置的dataDir和dataLogDir中的数据除了myid文件外，其余的全部删除，然后重启zk，进而进入zk客户端执行：
rmr /admin/delete_topics
rmr /config
rmr /brokers/topics
rmr /consumers
rmr /schema_registry
  1. 将kafka中配置文件server.properties中的log.dirs下的文件全部清除，然后重启kafka即可成功。

转载于:https://my.oschina.net/112612/blog/1798099

weixin_34344677
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Hadoop部署】Hadoop环境部署5-Zookeeper、Kafka安装
01-07
zookeeper配置 cd zk/conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改： dataDir=/usr/local/zk/data 新增： server.0=sparkproject1:2888:3888 server.1=sparkproject2:2888:3888 server.2=sparkproject3:2888:3888 同步配置 mkdir /usr/local/zk/data ssh sparkproject2 rm -rf /usr/local/zk ssh sparkproject3 rm -rf /usr/l
在python环境下运用kafka对数据进行实时传输的方法
01-21
背景： 为了满足各个平台间数据的传输，以及能确保历史性和实时性。先选用kafka作为不同平台数据传输的中转站，来满足我们对跨平台数据发送与接收的需要。 kafka简介： Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，
kafka broker启动报错，删除broker存储数据后可行
Ntozot的博客
12-18 995
一次kafka重启过程中，broker启动失败，报错： 3:50:49.243 PM ERROR LogManager There was an error in one of the threads during logs loading: java.lang.NumberFormatException: For input string: "00000000000000000000_txt"...
删除kafka数据
dianmu9475的博客
06-20 260
以FH-UMP-ELK为例，彻底删除无用的kafka topic和彻底删除数据 1.启动zookeeper的Client端 cd /opt/elk/zookeeper/bin ./zkCli.sh 2.查看kafka中所有的topic ls /brokers/topics 3.找到需要删除的kafka topic 执行 rmr /brokers/topic...
kafka全部数据清空
花语无痕的博客
08-27 1007
kafka全部数据清空的步骤为： 1.停止每台机器上的kafka； 2.删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录； 3.删除zookeeper上与kafka相关的znode节点； 4.重启kafka、如果删除topic还在则需要重启zookeeper； 这里以192.168.187.201 node1、192.168.187.202 node2、192.168.187.203 node3三台机器作为
消费kafka数据的时候，如果遇到了脏数据，或者是不符合规则的数据等等这么处理呢？
qq_36382679的博客
10-02 1259
如对null值的处理，在下游使用sparksql处理时可以优化sql语句。select avg(case when test_id IS Null then “” else test_id end as test_id) from input. 对于数组类型的数据，要判断数组长度是否达到要求，是否存在丢失的数据或者无效数据，如果存在则需要通过filter清洗掉。 对于规则字段需要在计算之前，先做校验，如正则校验，只有满足规则的在进行后续的计算。 对于数据格式不匹配的，要进行格式转换，比如日期类型，要讲毫秒.
Windows删除kafka队列数据后重启kafka报异常 leader not available
qq_43750656的博客
02-15 381
（2）删除topic：deleteall /brokers/topics/【topic name】命令进行删除；进入zookeeper安装目录的bin目录，以管理员身份运行zkCli.cmd。（1）查找Topic列表：ls /brokers/topics。（3）重启zookeeper、重启kafka。
向kafka插入数据测试
07-12
向kafka插入数据测试
Flink与kafka集成测试数据集sensortemp.csv
10-12
Flink与kafka集成测试数据集
基于kafka-spark streaming的数据处理系统及测试.pptx
12-20
基于kafka-spark streaming的数据处理系统及测试
安装kafka和zk，把kafka和zk安装在一个网络中
05-09
安装kafka和zk，把kafka和zk安装在一个网络中
记一次kafka集群删除数据后，恢复过程
xzhongb的博客
11-04 2911
问题：由于kafka 中log.dir文件目录占用空间太大，而且文件名字是logs，以为是日志文件，直接一挥手把他全部删除了。导致集群连接成功，但是出现找不到broker等问题。 解决问题过程：zk元数据信息没有保存kafka内容，想着把所有topic删掉。所以通过命令把kafka的topic进行删除，但是没有用，集群还是有问题。 问题答案： 将zk的目录重新修改一个，然后关掉kafka进程，然后把kafka数据目录删除，重新创建一个文件夹，重启启动kafka就可以了。相当于重新创建一遍元数据信息。 ..
Kafka学习笔记之如何永久删除Kafka的Topic
weixin_30746117的博客
08-15 562
0x00 问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。 0x01问题复现 1. 登录Kafka集群所在的服务器，创建一个test的topic [root@cdh1 ~]# kafk...
60-30-012-使用-Kafka不停机删除topic数据（自动建立topic）md
九师兄
01-07 396
1.视界 2.背景 一次客户有这么一个需求 kafka在不停机的情况下 如何清理掉 kafka中的topic数据？ 3.第一种测试 直接删除log日志 为了验证我本地测试。 启动kafka (base) lcc@lcc kafka_2.11-1.1.0$ sh bin/kafka-server-start.sh config/server.properties 启动生产者 ^C(base) lcc@lcc kafka_2.11-1.1.0$ sh bin/kafka-console-producer.s
Number of alive brokers ‘0’ does not meet the required replication factor ‘1’ for the offsets topic
爱折腾的小土豆的博客
07-02 1684
kafka启动报：Number of alive brokers ‘0’ does not meet the required replication factor ‘1’ for the offsets topic 错误 产生原因：Kafka broker.id 更改可能会导致此问题 解决方法： 方法一：把指定的broker.id 修改对，再重启broker(未测试) 查找对应id的方法，登陆zookeeper，sh zkCli.sh ls /brokers/ids get /brokers/
Kafka日志及Topic数据清理
weixin_33946020的博客
12-20 4138
  由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。   在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。 一、Kafka消费Offset  ...
如何解决Kafka数据丢失问题？
weixin_42395998的博客
09-30 287
如何解决Kafka数据丢失问题？ 该问题是从Kafka的生产者与消费者的角度来看待数据丢失。 也即是，当数据发生了丢失，该怎么处理。
彻底删除Kafka和zookeeper数据
热门推荐
学习笔记
04-11 1万+
文章目录一、停止所有服务二、重置zookeeper三、重置Kafka 一、停止所有服务 停止客户端连接 停止所有Kafka节点 停止所有zk节点 二、重置zookeeper 清除所有zookeeper数据，数据目录在zoo.cfg中 # 快照路径（集群下有myid文件，需要保留） # dataDir=/home/zk/data # 增量日志路径（默认没有dataLogDir，需要指定） # dataLogDir=/home/zk/logs rm -rf /home/zk/data rm -rf /hom
java技术专家面试指南80问【java学习+面试宝典】（六）
最新发布
fengbeely的博客
06-15 948
CPU缓存从内存读数据时，是按缓存行读取的，即使只用到一个变量，也要将整行数据进行读取，这行数据量可能包含其他变量。当多个线程同时修改同一个缓存行里的不同变量时，由于同时只能有一个线程在操作，所以相比将每个变量放到不同缓存行里，性能会有所下降。多个线程同时修改了同一个缓存行上的不同变量，由于不能并发修改，所以称为“伪共享”。孤儿卷是未与任何容器关联的卷。在 Docker v。1.9 之前的版本中，删除这些孤儿卷存在很大问题。
kafka生产者测试数据
11-09
了测试Kafka生产者，我们需要创建一个生产者实例并使用ProducerRecord类构造消息。以下是一个简单的Kafka生产者测试数据的示例： ```java import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; public class KafkaProducerTest { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("retries", 0); props.put("batch.size", 16384); props.put("linger.ms", 1); props.put("buffer.memory", 33554432); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); KafkaProducer<String, String> producer = new KafkaProducer<>(props); String topic = "test-topic"; String key = "test-key"; String value = "test-value"; ProducerRecord<String, String> record = new ProducerRecord<>(topic, key, value); producer.send(record); producer.close(); } } ``` 这个示例创建了一个Kafka生产者实例，并使用ProducerRecord类构造了一个消息。然后，它将消息发送到名为“test-topic”的主题中。在这个示例中，我们使用了StringSerializer来序列化键和值。你可以根据你的需求更改序列化器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值