Kafka集群动态修改复制因子以及数据留存时间

最新推荐文章于 2024-08-02 16:24:41 发布
最新推荐文章于 2024-08-02 16:24:41 发布
阅读量7.3k 收藏
点赞数
分类专栏： kafka 文章标签： kafka动态修改
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20641565/article/details/73740810
版权

之前用的kafka的默认配置数据留存配置的是留存7天，并且在创建kafka topic的时候指定的副本数量为3，但是后面发现数据量太大了，一天有200G的数据，如果设置副本数为3份，然后还保留7天，那么存储最大会占用接近5个T的数据，所以决定把数据复制因子改为2，然后将数据留存时间改为12个小时。

以为修改复制因子一条语句就搞定，结果发现还有点麻烦，操作如下，仅供参考：

  • 1.查看TOPIC的详细信息：
/home/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --topic newiot002 --describe --zookeeper 10.104.123.231:2181,10.104.138.20:2181,10.104.54.172:2181

结果如下：

Topic:newiot002 PartitionCount:28   ReplicationFactor:3 Configs:
    Topic: newiot002    Partition: 0    Leader: 1   Replicas: 1,2,3 Isr: 1,2,3
    Topic: newiot002    Partition: 1    Leader: 2   Replicas: 2,3,1 Isr: 2,3,1
    Topic: newiot002    Partition: 2    Leader: 3   Replicas: 3,1,2 Isr: 3,1,2
    Topic: newiot002    Partition: 3    Leader: 1   Replicas: 1,3,2 Isr: 1,3,2
    Topic: newiot002    Partition: 4    Leader: 2   Replicas: 2,1,3 Isr: 2,1,3
    Topic: newiot002    Partition: 5    Leader: 3   Replicas: 3,2,1 Isr: 3,2,1
    Topic: newiot002    Partition: 6    Leader: 1   Replicas: 1,2,3 Isr: 1,2,3
    Topic: newiot002    Partition: 7    Leader: 2   Replicas: 2,3,1 Isr: 2,3,1
    Topic: newiot002    Partition: 8    Leader: 3   Replicas: 3,1,2 Isr: 3,1,2
    Topic: newiot002    Partition: 9    Leader: 1   Replicas: 1,3,2 Isr: 1,3,2
    Topic: newiot002    Partition: 10   Leader: 2   Replicas: 2,1,3 Isr: 2,1,3
    Topic: newiot002    Partition: 11   Leader: 3   Replicas: 3,2,1 Isr: 3,2,1
    Topic: newiot002    Partition: 12   Leader: 1   Replicas: 1,2,3 Isr: 1,2,3
    Topic: newiot002    Partition: 13   Leader: 2   Replicas: 2,3,1 Isr: 2,3,1
    Topic: newiot002    Partition: 14   Leader: 3   Replicas: 3,1,2 Isr: 3,1,2
    Topic: newiot002    Partition: 15   Leader: 1   Replicas: 1,3,2 Isr: 1,3,2
    Topic: newiot002    Partition: 16   Leader: 2   Replicas: 2,1,3 Isr: 2,1,3
    Topic: newiot002    Partition: 17   Leader: 3   Replicas: 3,2,1 Isr: 3,2,1
    Topic: newiot002    Partition: 18   Leader: 1   Replicas: 1,2,3 Isr: 1,2,3
    Topic: newiot002    Partition: 19   Leader: 2   Replicas: 2,3,1 Isr: 2,3,1
    Topic: newiot002    Partition: 20   Leader: 3   Replicas: 3,1,2 Isr: 3,1,2
    Topic: newiot002    Partition: 21   Leader: 1   Replicas: 1,3,2 Isr: 1,3,2
    Topic: newiot002    Partition: 22   Leader: 2   Replicas: 2,1,3 Isr: 2,1,3
    Topic: newiot002    Partition: 23   Leader: 3   Replicas: 3,2,1 Isr: 3,2,1
    Topic: newiot002    Partition: 24   Leader: 1   Replicas: 1,2,3 Isr: 1,2,3
    Topic: newiot002    Partition: 25   Leader: 2   Replicas: 2,3,1 Isr: 2,3,1
    Topic: newiot002    Partition: 26   Leader: 3   Replicas: 3,1,2 Isr: 3,1,2
    Topic: newiot002    Partition: 27   Leader: 1   Replicas: 1,3,2 Isr: 1,3,2
  • 2.创建一个exchange-rep.json文件用于描述修改的备份

在 /home/kafka/kafka_2.11-0.10.1.1/config/ 目录下

{
        "partitions":
                [
                {
                        "topic": "newiot002",
                        "partition": 0,
                        "replicas": [1,2]
                },
                {
                        "topic": "newiot002",
                        "partition": 1,
                        "replicas": [2,3]
                },
                {
                        "topic": "newiot002",
                        "partition": 2,
                        "replicas": [3,1]
                },
                {
                        "topic": "newiot002",
                        "partition": 3,
                        "replicas": [1,2]
                },
                {
                        "topic": "newiot002",
                        "partition": 4,
                        "replicas": [2,3]
                },
                {
                        "topic": "newiot002",
                        "partition": 5,
                        "replicas": [3,1]
                },
                {
                        "topic": "newiot002",
                        "partition": 6,
                        "replicas": [1,2]
                },
                {
                        "topic": "newiot002",
                        "partition": 7,
                        "replicas": [2,3]
                },
                {
                        "topic": "newiot002",
                        "partition": 8,
                        "replicas": [3,1]
                },
                {
                        "topic": "newiot002",
                        "partition": 9,
                        "replicas": [1,2]
                },
                {
                        "topic": "newiot002",
                        "partition": 10,
                        "replicas": [2,3]
                },
                {
                        "topic": "newiot002",
                        "partition": 11,
                        "replicas": [3,1]
                },
                {
                        "topic": "newiot002",
                        "partition": 12,
                        "replicas": [1,2]
                },
                {
                        "topic": "newiot002",
                        "partition": 13,
                        "replicas": [2,3]
                },
                {
                        "topic": "newiot002",
                        "partition": 14,
                        "replicas": [3,1]
                },
                {
                        "topic": "newiot002",
                        "partition": 15,
                        "replicas": [1,2]
                },
                {
                        "topic": "newiot002",
                        "partition": 16,
                        "replicas": [2,3]
                },
                {
                        "topic": "newiot002",
                        "partition": 17,
                        "replicas": [3,1]
                },
                {
                        "topic": "newiot002",
                        "partition": 18,
                        "replicas": [1,2]
                },
                {
                        "topic": "newiot002",
                        "partition": 19,
                        "replicas": [2,3]
                },
                {
                        "topic": "newiot002",
                        "partition": 20,
                        "replicas": [3,1]
                },
                {
                        "topic": "newiot002",
                        "partition": 21,
                        "replicas": [1,2]
                },
                {
                        "topic": "newiot002",
                        "partition": 22,
                        "replicas": [2,3]
                },
                {
                        "topic": "newiot002",
                        "partition": 23,
                        "replicas": [3,1]
                },
                {
                        "topic": "newiot002",
                        "partition": 24,
                        "replicas": [1,2]
                },
                {
                        "topic": "newiot002",
                        "partition": 25,
                        "replicas": [2,3]
                },
                {
                        "topic": "newiot002",
                        "partition": 26,
                        "replicas": [3,1]
                },
                {
                        "topic": "newiot002",
                        "partition": 27,
                        "replicas": [1,2]
                }
                ],
        "version":1
}
  • 3.执行语句进行修改：
/home/kafka/kafka_2.11-0.10.1.1/bin/kafka-reassign-partitions.sh --zookeeper 10.104.123.231:2181,10.104.138.20:2181,10.104.54.172:2181 --reassignment-json-file /home/kafka/kafka_2.11-0.10.1.1/config/exchange-rep.json --execute

结果如下：

Current partition replica assignment

{"version":1,"partitions":[{"topic":"newiot002","partition":17,"replicas":[3,2,1]},{"topic":"newiot002","partition":16,"replicas":[2,1,3]},{"topic":"newiot002","partition":11,"replicas":[3,2,1]},{"topic":"newiot002","partition":12,"replicas":[1,2,3]},{"topic":"newiot002","partition":3,"replicas":[1,3,2]},{"topic":"newiot002","partition":27,"replicas":[1,3,2]},{"topic":"newiot002","partition":23,"replicas":[3,2,1]},{"topic":"newiot002","partition":20,"replicas":[3,1,2]},{"topic":"newiot002","partition":4,"replicas":[2,1,3]},{"topic":"newiot002","partition":13,"replicas":[2,3,1]},{"topic":"newiot002","partition":21,"replicas":[1,3,2]},{"topic":"newiot002","partition":9,"replicas":[1,3,2]},{"topic":"newiot002","partition":8,"replicas":[3,1,2]},{"topic":"newiot002","partition":10,"replicas":[2,1,3]},{"topic":"newiot002","partition":14,"replicas":[3,1,2]},{"topic":"newiot002","partition":5,"replicas":[3,2,1]},{"topic":"newiot002","partition":19,"replicas":[2,3,1]},{"topic":"newiot002","partition":6,"replicas":[1,2,3]},{"topic":"newiot002","partition":2,"replicas":[3,1,2]},{"topic":"newiot002","partition":22,"replicas":[2,1,3]},{"topic":"newiot002","partition":25,"replicas":[2,3,1]},{"topic":"newiot002","partition":24,"replicas":[1,2,3]},{"topic":"newiot002","partition":1,"replicas":[2,3,1]},{"topic":"newiot002","partition":15,"replicas":[1,3,2]},{"topic":"newiot002","partition":26,"replicas":[3,1,2]},{"topic":"newiot002","partition":0,"replicas":[1,2,3]},{"topic":"newiot002","partition":18,"replicas":[1,2,3]},{"topic":"newiot002","partition":7,"replicas":[2,3,1]}]}

Save this to use as the --reassignment-json-file option during rollback
Successfully started reassignment of partitions.
  • 4.检查执行情况：
/home/kafka/kafka_2.11-0.10.1.1/bin/kafka-reassign-partitions.sh --zookeeper 10.104.123.231:2181,10.104.138.20:2181,10.104.54.172:2181 --reassignment-json-file /home/kafka/kafka_2.11-0.10.1.1/config/exchange-rep.json --verify

上面全部显示successful 说明都执行成功！

下面修改数据默认留存时间

1.刚开始用如下脚本进行修改：

/home/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --alter --zookeeper 10.104.123.231:2181,10.104.138.20:2181,10.104.54.172:2181 --topic newiot002 --config delete.retention.ms=43200000

然后提示该脚本的这个功能以及被弃用了，让我使用kafka-configs.sh脚本操作

然后我就用kafka-configs.sh这个脚本来操作

查看提示，且提示如下：

Add/Remove entity config for a topic, client, user or broker
Option              Description                            
------              -----------                            
--add-config        Key Value pairs of configs to add.     
                      Square brackets can be used to group 
                      values which contain commas: 'k1=v1, 
                      k2=[v1,v2,v2],k3=v3'. The following  
                      is a list of valid configurations:   
                      For entity_type 'topics':            
                        cleanup.policy                        
                        compression.type                      
                        delete.retention.ms                   
                        file.delete.delay.ms                  
                        flush.messages                        
                        flush.ms                              
                        follower.replication.throttled.       
                      replicas                             
                        index.interval.bytes                  
                        leader.replication.throttled.replicas 
                        max.message.bytes                     
                        message.format.version                
                        message.timestamp.difference.max.ms   
                        message.timestamp.type                
                        min.cleanable.dirty.ratio             
                        min.compaction.lag.ms                 
                        min.insync.replicas                   
                        preallocate                           
                        retention.bytes                       
                        retention.ms                          
                        segment.bytes                         
                        segment.index.bytes                   
                        segment.jitter.ms                     
                        segment.ms                            
                        unclean.leader.election.enable        
                    For entity_type 'brokers':             
                        follower.replication.throttled.rate   
                        leader.replication.throttled.rate     
                    For entity_type 'users':               
                        producer_byte_rate                    
                        consumer_byte_rate                    
                    For entity_type 'clients':             
                        producer_byte_rate                    
                        consumer_byte_rate                    
                    Entity types 'users' and 'clients' may 
                      be specified together to update      
                      config for clients of a specific     
                      user.                                
--alter             Alter the configuration for the entity.
--delete-config     config keys to remove 'k1,k2'          
--describe          List configs for the given entity.     
--entity-default    Default entity name for clients/users  
                      (applies to corresponding entity     
                      type in command line)                
--entity-name       Name of entity (topic name/client      
                      id/user principal name/broker id)    
--entity-type       Type of entity                         
                      (topics/clients/users/brokers)       
--force             Suppress console prompts               
--help              Print usage information.               
--zookeeper <urls>  REQUIRED: The connection string for    
                      the zookeeper connection in the form 
                      host:port. Multiple URLS can be      
                      given to allow fail-over.

按照提示用如下脚本搞定：

/home/kafka/kafka_2.11-0.10.1.1/bin/kafka-configs.sh --alter --zookeeper 10.104.123.231:2181,10.104.138.20:2181,10.104.54.172:2181 --entity-name newiot002 --entity-type topics --add-config delete.retention.ms=43200000

返回

Updated config for entity: topic 'newiot002'.

但是发现数据并没有被删除，最后还是使用修改conf配置文件的方法，重启了一次kafka 搞定，但是在生产上面直接启停这种方法不好，具体不停 让配置生效下次我再试一试。

lijie_cq
关注
专栏目录
如何修改 Kafka 消息保留时长：经验总结
weixin_44976692的博客
05-28 2万+
Apache Kafka 是一种高性能的分布式消息系统，用于处理实时数据流。在实际使用中，我们可能需要根据业务需求调整 Kafka 消息的保留时长。本文将介绍如何修改 Kafka 消息保留时长，并分享在实际操作中的一些经验。修改 Kafka 消息保留时长是优化 Kafka 系统性能和资源使用的重要手段。通过合理的配置，可以满足不同业务场景的需求，同时确保系统的稳定性和高效性。希望本文的介绍和经验总结能帮助你更好地管理 Kafka 集群，提升业务处理能力。
kafka动态修改日志保存时间
weixin_43315470的博客
07-23 1298
修改对应的topic的保存时长3天使用–describe查看topic是否修改成功。
【查看Kafka存储日志时间】
最新发布
weixin_46356409的博客
08-02 893
通过查看Kafka的配置文件，你可以了解Kafka broker的默认配置参数，包括消息保留时间和存储大小等。根据需要，你可以修改这些参数来调整Kafka的行为。如果你需要对特定的Topic进行配置，可以使用命令显式设置这些参数，这样在描述信息中就会显示这些参数。要查看Kafka Topic的配置参数，你可以使用命令的--describe选项。这个命令会显示Topic的基本信息，包括分区、副本等，但不会直接显示所有的配置参数。要查看特定的配置参数，你需要使用命令。使用。
线上Kafka集群如何调整消息存储时间
念念不忘，必有回响
11-04 1641
总的来说Kafka的配置分broker级别和Topic级别。如果我们要修改消息的存储时间，最好是通过修改Topic的存储时间来修改，因为不用重启broker。不过在部署Kafka集群的时候我们也建议设置合理的消息存储时间，避免每个Topic都要定制化配置，才能最大化利用磁盘，避免磁盘浪费其次从Kafka的这种配置设计来说，我们后续做技术设计的时候也可以采用这种优秀的方式，提供全局+局部的配置，局部配置优先级高于全局，其实如果开源软件使用的多的话，我们会发现大多开源软件的配置都采用这种设计思路。
kafka运维--增加topic备份因子
RangeYan
12-20 4790
上篇文章将了怎样优化kafka配置，其中提到了kafka集群topic的默认备份因子参数default.replication.factor。 如果想针对某一个或者多个topic，增加备份因子参照下面步骤进行。 1. 创建一个需要增加备份因子的topic列表的文件，文件格式是json格式的（跟【kafka运维--集群扩容后手动Rebalance topic】文章中rebalan
为什么要使用kafka消息队列
qq_36721495的博客
05-21 1943
1.为什么要使用 kafka？为什么要使用消息队列？ 缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。 解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要遵守约定，针对数据编程即可获取扩展能力。 冗余：可以采用一对多的方式，一个生产者发布消息，可以被多个订阅topic的服务消费到，供多个毫无关联的业务使用。 健
kafka补充
Meiko记录
07-08 615
11.LEO、LSO、AR、ISR、HW 都表示什么含义？ 讲真，我不认为这是炫技的题目，特别是作为 SRE 来讲，对于一个开源软件的原理以及概念的理解，是非常重要的。 LEO(Log End Offset): 日志末端位移值或末端偏移量，表示日志下一条待插入消息的位移值。举个例子，如果日志有 10 条消息，位移值从 0 开始，那么，第 10 条消息的位移值就是 9。此时，LEO = 10。 LSO(Log Stable Offset): 这是 Kafka 事务的概念。如果你没有使用到事务，那么这个值
Kafka之参数配置
jannal专栏
12-18 3253
文章目录Kafka版本Producer参数配置bootstrap.serverskey.serializervalue.serializeracksbuffer.memorymax.block.mscompression.typeretriesretry.backoff.msbatch.size与linger.msmax.request.sizerequest.timeout.msclient.i...
python在财务中的应用实训报告-数据科学与大数据技术专业实训解决方案
weixin_37988176的博客
11-01 7282
第一章 大数据发展背景1.1 国家政策 2017年1月工业和信息化部正式发布了《大数据产业发展规划（2016－2020年）》，明确了“十三五”时期大数据产业的发展思路、原则和目标，将引导大数据产业持续健康发展，有力支撑制造强国和网络强国建设。 2018年9月工信部公示“2018年大数据产业发展试点示范项目名单”，公布了包括大数据存储管理、大数据分析挖掘、大数据安全保障、产业创新大数据应用、跨行...
高校大数据专业教学实训资源解决方案
weixin_41903778的博客
03-12 1755
高校大数据专业教学实训资源解决方案 第一章 大数据发展背景 1.1 国家政策  2017年1月 工业和信息化部正式发布了《大数据产业发展规划（2016－2020年）》，明确了“十三五”时期大数据产业的发展思路、原则和目标，将引导大数据产业持续健康发展，有力支撑制造强国和网络强国建设。  2018年9月 工信部公示“2018年大数据产业发展试点示范项目名单”，公布了包括大数据存储管理、大数...
linux不停机释放日志,Kafka在线修改topic日志保存时长(不停机，不重启)
weixin_31833795的博客
05-06 540
使用场景：某些时候，当几个topic生产者突发产生大量消息时，会造成磁盘空间紧张，这时，除了增加磁盘，另一个方法就是修改配置文件，将日志的保存时间修改小一点，但这两种方案，都必须停机和重启kafka，显然，这在生产集群上，是不能这么处理的。这里，可以通过在线修改单个topic的配置，以覆盖默认配置，临时解决磁盘空间紧张的问题。优点：在线修改，不需要重启和停机修改后，新的配置会在 log.reten...
Kafka动态增加Topic的副本(Replication)
qq_18838991的博客
11-29 2795
1. 查看topic的原来的副本分布 [hadoop@sdf-nimbus-perf ~]$ le-kafka-topics.sh --describe --topic http_zhixin_line1 Topic:http_zhixin_line1 PartitionCount:3 ReplicationFactor:1 Configs: Topic: http_zhixi
Kafka 几个重要的配置总结
热门推荐
黄刚的技术博客
08-21 6万+
注意：配置基于Kafka 0.8.2.1 broker配置 #非负整数，用于唯一标识broker broker.id 0 #kafka持久化数据存储的路径，可以指定多个，以逗号分隔 log.dirs /tmp/kafka-logs #broker接收连接请求的端口 port 9092 #指定zk连接字符串，[hostname:port]以逗号
详解Kafka设计架构核心——Kafka副本机制详解
Java_supermanNO1的博客
07-01 366
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等 所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？ 1. 提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。 2. 提供高伸缩性。支持横向扩展，能够通过增加机器的方式来提升读性能，进而提高读操作吞吐量。 3. 改善数据局部性。允许将数据放入与用户地理位置相近的地方，从而降低系统延时。 这些优.
Apache Kafka编程入门指南：设置分区数和复制因子
purisuit_knowledge的专栏
07-11 1928
转载：http://m.blog.csdn.net/article/details?id=50926633 我们学习了如何编写简单的Kafka Producer程序。在那个例子中，在如果需要发送的topic不存在，Producer将会创建它。我们都知道（假设你知道），每个topic都是有分区数和复制因子的，但是我们无法通过Producer相关的API设定分区数和复制因子的，因为Produce
kafka 关于设置消息存放周期
weixin_43632687的博客
03-21 2564
kafka retention 生命周期
cdh集群搭建(6.3)
前方的路在刚开始
07-19 3961
6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....
kafka修改对应topic的日志保存周期
别来沾边儿
11-17 1895
某些时候，当几个topic生产者突发产生大量消息时，会造成磁盘空间紧张，这时，除了增加磁盘，另一个方法就是修改配置文件，将日志的保存时间修改小一点，但这两种方案，都必须停机和重启kafka，显然，这在生产集群上，是不能这么处理的。修改后，新的配置会在 log.retention.check.interval.ms 时间内被检查并应用到整个集群，该值在 kafka/config/server.properties 中配置，默认为 300 秒。
Kafka动态调整topic副本因子replication-factor
russle的专栏
10-26 3万+
实际项目中我们可能在创建topic时没有设置好正确的replication-factor，导致kafka集群虽然是高可用的，但是该topic在有broker宕机时，可能发生无法使用的情况。topic一旦使用又不能轻易删除重建，因此动态增加副本因子就成为最终的选择。 原因分析： 假设我们有3个kafka broker分别brokerA、brokerB、brokerC. 当我们创建的topic有3个...
Kafka集群数据刷新策略与部署监控优化
Apache Kafka 是一个高吞吐量、分布式的发布/订阅消息系统，特别适用于实时数据处理和日志聚合。它的设计重点在于提供...通过理解其数据刷新策略和正确配置，以及监控和优化，可以有效提升Kafka集群的性能和可靠性。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值