kafka运维--增加topic备份因子

最新推荐文章于 2024-05-28 09:56:53 发布
最新推荐文章于 2024-05-28 09:56:53 发布
阅读量4.7k 收藏
点赞数
分类专栏： 原创 大数据系统运维笔记 Kafka 环境搭建 大数据 笔记 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanshu2012/article/details/53761284
版权

上篇文章将了怎样优化kafka配置，其中提到了kafka集群topic的默认备份因子参数default.replication.factor。

如果想针对某一个或者多个topic，增加备份因子参照下面步骤进行。


1. 创建一个需要增加备份因子的topic列表的文件，文件格式是json格式的（跟【kafka运维--集群扩容后手动Rebalance topic】文章中rebalance topic时创建的topic 列表文件是一样的）。

topic.conf.multi


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  RangeYan2012
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
【Kafka】kafka 创建 topic的时候 Replication factor 参数理解

				
			

			

				

					九师兄
				

				

					11-18
					
					2799
					
				

			

		

		

			
				
Partitions与Replication Factor调整准则
Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数，这两个参数的取值会直接影响到系统的性能与稳定性。
尽量在第一次创建一个topic时就指定这两个参数，因为
如果Partition 数目在之后再次做调整，则会打乱key的顺序保证（同样的key会分布到不同的partition上）
如果Replication Factor在之后再次增加，则会给集群带来更大的压力，可能会导致性能下降

Par

			
		

	



                

              
                



	

		

			

				
					
kafka-eagle-bin-2.0.1.tar.gz

				
			

			

				

					08-10
				

			

		

		

			
				
《Kafka Eagle：高效的...总的来说，Kafka Eagle以其强大的监控和管理功能，成为了Kafka运维人员的得力助手。通过深入理解和熟练使用这款工具，我们可以更好地管理和维护Kafka集群，保障大数据处理系统的稳定性和效率。

			
		

	



                


  
              

                


	

		

			

				
					
如何使用kafka增加topic的备份数量，让业务更上一层楼

				
			

			

				

					QcloudCommunity的博客
				

				

					01-08
					
					410
					
				

			

		

		

			
				

本文由云+社区发表

一、困难点
建立topic的时候，可以通过指定参数  --replication-factor 设置备份数量。但是，一旦完成建立topic，则无法通过kafka-topic.sh 或者  命令修改replica数量。
二、解决办法
​    实际上，我们可以考虑一种 “另类” 的办法：可以利用 kafka-reassign-partitions.sh 命令对所有分区进行重新...

			
		

	





	

		

			

				
					
对已运行的kafka集群添加副本

					
最新发布

				
			

			

				

					linuxplayer
				

				

					05-28
					
					270
					
				

			

		

		

			
				
在已经运行的kafka集群中（业务主题已创建），如果一开始配置的默认副本是1，则后续再去修改配置文件为3，也只是针对后续新增的主题有效。注意json文件中的"replicas":[2,1,0]这些是集群中的broke，有可能有的broke是1,2,3。之后再加业务主题副本，新建一个doorinout.json的文件，内容如下。新建一个consumer_offsets.json的文件，内容如下。在任意一个节点上执行（只需在一个节点上执行一次）在任意一个节点上执行（只需在一个节点上执行一次）

			
		

	



		

			
		



	

		

			

				
					
kafka系列之kafka分区与备份(4)

				
			

			

				

					
				

				

					03-09
					
					5万+
					
				

			

		

		

			
				
分区 Partition
分区的意义
提高负载均衡的能力
kafak 通过分区来提高系统的负载均衡能力,主要通过以下两个方面进行保证的

Kafka 创建Topic 的时候使得分区均匀的分布在各个Broker(集群节点)上
kafka 在生产者发送消息到kafka 集群的时候，通过一定的负载均衡策略，使得数据均匀的分布在各个分区上

这样通过在两个层面上的保证，从而保证了集群整体的负载均衡
实现系统的高伸缩性（Scalability）
不同的分布式系统对分区的叫法也不尽相同。比如在 Kafka 中叫分区，在

			
		

	





	

		

			

				
					
【Kafka】（十一）Kafka 的备份机制

				
			

			

				

					云祁QI
				

				

					02-25
					
					2457
					
				

			

		

		

			
				
Kafka的备份机制
Kafka的备份的单元是partition，也就是每个partition都都会有leader partiton和follow partiton。其中leader partition是用来进行和producer进行写交互，follow从leader副本进行拉数据进行同步，从而保证数据的冗余，防止数据丢失的目的。 
如图: 

follow副本是如何实现和leader副本进行数据...

			
		

	





	

		

			

				
					
Kafka集群动态修改复制因子以及数据留存时间

				
			

			

				

					allen的博客
				

				

					06-26
					
					7320
					
				

			

		

		

			
				
之前用的kafka的默认配置数据留存配置的是留存7天，并且在创建kafka topic的时候指定的副本数量为3，但是后面发现数据量太大了，一天有200G的数据，如果设置副本数为3份，然后还保留7天，那么存储最大会占用接近5个T的数据，所以决定把数据复制因子改为2，然后将数据留存时间改为12个小时。以为修改复制因子一条语句就搞定，结果发现还有点麻烦，操作如下，仅供参考：
1.查看TOPIC的详细信息：

			
		

	





	

		

			

				
					
kafka-manager-1.3.3.6.zip

				
			

			

				

					07-18
				

			

		

		

			
				
5. **备份与恢复**：使用 Kafka Manager 的备份功能，定期备份重要 topic，确保数据安全；在需要时，可通过恢复功能快速恢复数据。  三、与 Kafka 0.11 版本的集成  Kafka 0.11 引入了多项重要改进，包括更好的消息...

			
		

	





	

		

			

				
					
Kafka-manager-1.3.3.22 最新版

				
			

			

				

					01-21
				

			

		

		

			
				
4. **动态配置**：允许用户在不重启Kafka服务的情况下，动态调整一些配置参数，如副本因子、清洗策略等，提高了运维效率。  5. **故障检测与恢复**：通过监控和报警机制，Kafka Manager 可以快速发现并处理 Broker ...

			
		

	





	

		

			

				
					
kafka-manager-1.3.3.17

				
			

			

				

					09-01
				

			

		

		

			
				
Kafka的核心概念包括生产者（Producer）、消费者（Consumer）、主题（Topic）和分区（Partition）。  2. **Kafka Manager功能**：  - **集群视图**：展示所有Kafka集群的信息，包括节点状态、主题列表和消费者组。  ...

			
		

	





	

		

			

				
					
kafka-manager

				
			

			

				

					07-20
				

			

		

		

			
				
4. **配置调整**：用户可以直接通过Kafka Manager调整Kafka集群的配置，如broker设置、topic设置等，而无需直接编辑配置文件，这提高了运维效率。  5. **安全特性**：Kafka Manager支持与Kafka集群的安全集成，包括...

			
		

	





	

		

			

				
					
kafka topic迁移脚本

				
			

			

				

					11-11
				

			

		

		

			
				
kafka脚本实现自动化无损热迁移topic。不用停kafka进程，不影响写入。在迁移过程中业务无感知。

			
		

	





	

		

			

				
					
Kafka跨集群容灾备份.docx

				
			

			

				

					04-06
				

			

		

		

			
				
Kafka跨集群容灾备份
1、使用场景
2、MirrorMaker架构
3、MirrorMaker工具使用
4、验证消息是否拷贝成功
5、跨机房备份案例
6、注意事项

			
		

	





	

		

			

				
					
进击消息中间件系列（十六）：Kafka 数据备份与恢复

				
			

			

				

					民工哥的博客
				

				

					08-10
					
					744
					
				

			

		

		

			
				
点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了 Kafka副本（Replication）机制、存储机制、事务机制、高可用与生产消费、流式 SQL 引擎 KSQL、日志相关的知识点，今天我将详细的为大家介绍 Kafka 数据备份与恢复相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！kafka的备份策略Kafka的备份的单元是partition，也就...

			
		

	





	

		

			

				
					
Kafka 几个重要的配置总结

					
热门推荐

				
			

			

				

					黄刚的技术博客
				

				

					08-21
					
					6万+
					
				

			

		

		

			
				
注意：配置基于Kafka 0.8.2.1


broker配置


#非负整数，用于唯一标识broker
broker.id 0


#kafka持久化数据存储的路径，可以指定多个，以逗号分隔
log.dirs /tmp/kafka-logs


#broker接收连接请求的端口
port 9092


#指定zk连接字符串，[hostname:port]以逗号

			
		

	





	

		

			

				
					
Kafka 跨集群备份

				
			

			

				

					记录点点滴滴
				

				

					03-11
					
					296
					
				

			

		

		

			
				
备份 : 把数据在单个集群下不同节点之间的拷贝镜像 (Mirroring) : 把数据在集群间的拷贝MirrorMaker 工具 : 实现消息或数据从一个集群到另一个集群的拷贝MirrorMaker : 消费者 + 生产者的程序整个镜像流程 :多套集群镜像 ：whitelist.*

			
		

	





	

		

			

				
					
Kafka 集群数据备份 MirrorMaker 详解

				
			

			

				

					jast
				

				

					04-28
					
					4488
					
				

			

		

		

			
				
什么是 MirrorMaker？

MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具主要动作就是从源集群中消费并生产到目标群集。

一个集群可以启动多个MirrorMaker配置到多个集群



运行 MirrorMaker方法


kafka-mirror-maker.sh --consumer.config ./consumer.properti...

			
		

	





	

		

			

				
					
kafka中的选举和数据冗余备份机制

				
			

			

				

					weixin_43845743的博客
				

				

					04-19
					
					709
					
				

			

		

		

			
				
前言
在分布式系统中，通常会出现两个角色，master 和 slaver。master通常用于管理集群调度资源。而slaver通负责于数据的存储和传输工作。从而平衡集群负载，提高集群整体的稳定性。
kafka的集群管理–controller选举
kafka集群中有多个broker，在集群启动时，各个broker会去zookeeper集群中，注册成controller。这个机制跟hadoop-ha类...

			
		

	





	

		

			

				
					
Kafka

				
			

			

				

					m0_64892750的博客
				

				

					05-21
					
					215
					
				

			

		

		

			
				
Kafka
为什么要使用消息队列
1.使用同步的通信方式解决多个服务之间的通信
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f6v9N9zl-1653142857621)(C:\Users\lenovo\AppData\Roaming\Typora\typora-user-images\1652791725686.png)]
同步的通信方式会存在性能和稳定性的问题
使用异步的通信方式
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pVVh10

			
		

	





	

		

			

				
					
 进入目录/simple/kafka_2.10-0.8.1.1，执行命令bin/kafka-topics.sh --create --zookeeper simple:2181 --replication-factor 1 --partitions 1 --topic logtopic  ，bin/kafka-console-producer.sh --broker-list simple:9092 --topic logtopic   ，bin/kafka-console-consumer.sh --zookeeper simple:2181 --from-beginning --topic logtopic 是什么意思

				
			

			

				

					06-07
				

			

		

		

			
				
2. `bin/kafka-console-producer.sh --broker-list simple:9092 --topic logtopic`：启动一个控制台生产者(console producer)程序，用于向名为`logtopic`的主题发送消息。`--broker-list`参数指定了Kafka broker的...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值