【Apache Kafka】安装升级指南

最新推荐文章于 2024-08-25 15:32:34 发布
最新推荐文章于 2024-08-25 15:32:34 发布
阅读量2.9k 收藏 1
点赞数 1
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ganglia/article/details/12613573
版权
本文档详细介绍了如何在Ubuntu 12.04服务器上安装和升级单节点Apache Kafka。在开始前，系统已预装了Zookeeper 3.4.5。首先，下载kafka-0.7.2并进行解压。接着，配置/config/server.properties文件，更新hostname为服务器IP，并设置zk.connect指向ZooKeeper的IP:2181。最后，重启kafka-server-start.sh来启动服务。参考资料包括官方文档及外部博客。
摘要由CSDN通过智能技术生成

在Ubuntu12.04 server上安装单结点kafka，我的机器上之前已经安装过zookeeper-3.4.5

根据官网的说明：http://kafka.apache.org/07/quickstart.html

下载一个kafka-0.7.2.tar.gz，解压安装

> tar xzf kafka-<VERSION>.tgz
> cd kafka-<VERSION>
> ./sbt update
> ./sbt package
这个过程中会自动安装Scala，需要花费点时间。

修改/config/server.properties文件，将里面的hostname修改为你主机的IP，还需要修改zk.connect为ZooKeeper的IP:2181。

然后重启kafka-server-start.sh


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  云原生技术分享
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
从 Kafka 2.x 到 Kafka 3.x：升级之旅

				
			

			

				

					weixin_44976692的博客
				

				

					05-28
					
					2万+
					
				

			

		

		

			
				
Kafka 3.x 相比 Kafka 2.x 引入了许多新特性和改进，特别是 KRaft 模式的推出，大大简化了集群管理。通过本文的比较和实际应用案例分享，我们可以看到 Kafka 3.x 在性能、稳定性和管理方面的显著提升。对于有大数据流处理需求的企业来说，升级到 Kafka 3.x 是一个值得考虑的选择。希望通过这篇博客，大家能够更好地了解 Kafka 2.x 和 Kafka 3.x 的区别，并在实际应用中充分发挥 Kafka 3.x 的优势。

			
		

	



                

              
                



	

		

			

				
					
kafka版本升级

				
			

			

				

					m0_57431076的博客
				

				

					07-29
					
					574
					
				

			

		

		

			
				
类的生命周期
类从被加载到虚拟机内存中开始，到卸载出内存为止，它的整个生命周期包括：加载，验证，准备，解析，初始化,使用,卸载这7个阶段.其中其中验证、准备、解析3个部分统称为连接.

加载、验证、准备、初始化和卸载这五个阶段的顺序是确定的，类型的加载过程必须按照这种顺序按部就班地开始，而解析阶段则不一定：它在某些情况下可以在初始化阶段之后再开始，这是为了支持Java语言的运行时绑定特性（也称为动态绑定或晚期绑定）
注意，这里的几个阶段是按顺序开始，而不是按顺序进行或完成，因为这些阶段通常都是互相交叉地混合

			
		

	



                


  
              

                


	

		

			

				
					
图解Kafka：Kafka架构演化与升级！

					
最新发布

				
			

			

				

					NBA1234593的博客
				

				

					08-25
					
					1343
					
				

			

		

		

			
				
数据分片存储是一种将大量数据分散存储在多个不同位置或设备上的技术。在数据量庞大的情况下，为了提高数据的存储效率、访问性能和可扩展性，将数据分割成较小的片段，然后分别存储在不同的节点或存储设备中。提高性能：通过将数据分散存储，可以并行地处理数据请求，从而加快数据的读取和写入速度。例如，在一个分布式数据库中，不同的分片可以同时响应查询，减少了总体的响应时间。增强可扩展性：当数据量不断增长时，可以方便地添加更多的分片来扩展存储容量，而无需对整个系统进行大规模的重构。避免单点性能瓶颈。

			
		

	





	

		

			

				
					
Kafka版本滚动升级（不停机）

				
			

			

				

					qq_39334151的博客
				

				

					02-14
					
					4203
					
				

			

		

		

			
				
升级Kafka集群的版本其实很简单，核心步骤只需要4步，但是我们需要在升级的过程中确保每一步操作都不会“打扰”到producer和consumer的正常运转。注意：替换新版broker后，注意查看新版broker是否已经注册到zookeeper，所在机器上的的副本是否已经可用。注意：启动3.4.0的Kafka，由于之前配置了环境变量，注意用3.4.0目录下的程序去启动kafka,启动之后查看日志，发现在同步数据。（3）.输入命令 ls /，ls /kafka/topics可以看到topic信息。

			
		

	



		

			
		



	

		

			

				
					
kafka 从2.11-0.10.2.1 升级到2.11-2.0.0

				
			

			

				

					爱折腾的小土豆的博客
				

				

					07-02
					
					527
					
				

			

		

		

			
				
1，升级过程

一、升级准备：

升级 192.168.1.120,192.168.1.9,192.168.1.218这三台机器
准备好安装包，wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
解压

二、配置修改

先操作192.168.1.218这台机器

修改配置kafka_2.11-2.0.0的server.properties，添加2行，

inter.br...

			
		

	





	

		

			

				
					
kafka实战（一）：kafka版本滚动升级到1.0.0

				
			

			

				

					桃花惜春风
				

				

					08-17
					
					5734
					
				

			

		

		

			
				
第一步：

先把新版安装包拷贝到对应机器上，并解压。



第二步：

更新所有broker（新旧版本）上的配置文件config/server.properties

inter.broker.protocol.version=0.10.1 （旧版本号）

log.message.format.version=0.10.1 （现正在使用clien...

			
		

	





	

		

			

				
					
Kafka安装与部署指南.pdf

				
			

			

				

					07-18
				

			

		

		

			
				
Kafka安装与部署指南详细介绍了如何在Linux环境下安装和部署Apache Kafka。Apache Kafka是一个分布式流处理平台，主要用于构建实时数据管道和流应用程序。它具有高吞吐量、可扩展性和容错性的特点。下面将根据指南...

			
		

	





	

		

			

				
					
Kafka权威指南总结

				
			

			

				

					wangaz521的博客
				

				

					10-25
					
					1846
					
				

			

		

		

			
				
生产者

代码块


➊ 新建一个 Properties 对象。


➋ 因为我们打算把键和值定义成字符串类型，所以使用内置的 StringSerializer。


➌ 在这里我们创建了一个新的生产者对象，并为键和值设置了恰当的类型，然后把Properties 对象传给它。


private Properties kafkaProps = new Properties(); ➊


kafkaProps.put("bootstrap.servers", "broker1:9092,broker2:909

			
		

	





	

		

			

				
					
Kafka平滑滚动升级2.4.0指南

				
			

			

				

					qq_41154944的博客
				

				

					05-03
					
					1094
					
				

			

		

		

			
				
今天测试了下kafka从2.0.0滚动升级至2.4.0，下面做一下记录。这个链接是Kafka官网对升级2.4.0的指南，可以参考  http://kafka.apache.org/24/documentation.html#upgrade
好了，步入正题吧！
首先，线上环境，在对kafka滚动升级的过程中，一定是不能影响业务运行的吧，否则一顿操作猛如虎，业务骂你二百五。
所以，我这里搭建了三台节点...

			
		

	





	

		

			

				
					
Kafka官方中文文档.pdf

				
			

			

				

					11-15
				

			

		

		

			
				
Kafka Streams章节指导如何运行一个Streams应用程序，编写自己的流应用程序，并介绍了主要的开发者、核心概念、架构及升级指南。  文档还提到了关于Kafka的先前版本，包括0.7.x到0.11.x，以及Kafka 1.0版本的变动。...

			
		

	





	

		

			

				
					
通俗易懂的Kafka升级版教程（含配套资料）

				
			

			

				

					06-15
				

			

		

		

			
				
Kafka是一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。在本课程中，你将学习到，Kafka架构原理、安装配置使用、详细的Kafka写入数据和处理数据以及写出数据的流程、新旧版本对比及运用、分区副本机制的详解、内部存储策略、高阶API直接消费数据、低阶API自行管理Offset消费数据、Kafka拦截器以及KafkaStream流式处理。更新：课件升级、Kafka幂等性、Kafka事务、监控器Eagle的使用、Kafka对接Flume的使用以及企业真实面试题详解


			
		

	





	

		

			

				
					
kafka滚动升级

				
			

			

				

					斯坦索姆的博客
				

				

					06-21
					
					328
					
				

			

		

		

			
				
生产环境kafka版本为kafka_2.13-2.8.1.tgz，因存在漏洞需将kafka版本升级至kafka_2.13-3.4.0.tgz以上版本。升级前验证zookeeper与kafka状态是否正常，使用kafka命令查看当前kafka集群的topic和版本号。在第一台broker上安装kafka_2.13-3.4.0版本的kafka，并启动新版本的kafka。逐一对3台kafka进行升级，先停止旧版本的kafka，再启动新版本的kafka，完成滚动升级。

			
		

	





	

		

			

				
					
kafka三节点集群2.8.0平滑升级到3.4.0过程指导

				
			

			

				

					企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
				

				

					02-27
					
					2802
					
				

			

		

		

			
				
Apache Kafka作为常用的开源分布式流媒体平台，多用于作为消息队列获取实时数据，构建对数据流的变化进行实时反应的应用程序，已被数千家公司用于高性能数据管道、流分析、数据集成和任务关键型应用程序。

			
		

	





	

		

			

				
					
Kafka版本升级

				
			

			

				

					FaN()
				

				

					04-15
					
					1929
					
				

			

		

		

			
				
Kafka版本升级
本文档介绍kafka_2.11_2.1.1升级到2.12-2.4.1的具体操作方法. 其他版本大同小异, 详见1.5 Upgrading From Previous Versions
升级前检查项
1.确认是否有副本因子是1的Topic
bin/kafka-topics.sh --zookeeper localhost:2182 --describe|grep "Replica...

			
		

	





	

		

			

				
					
kafka在线版本升级

				
			

			

				

					gdfsbingfeng的专栏
				

				

					05-29
					
					3363
					
				

			

		

		

			
				
1.5 Upgrading From Previous VersionsUpgrading from 0.8.x, 0.9.x, 0.10.0.x, 0.10.1.x, 0.10.2.x, 0.11.0.x or 1.0.x to 1.1.xKafka 1.1.0 introduces wire protocol changes. By following the recommended roll...

			
		

	





	

		

			

				
					
kafka版本升级操作流程

				
			

			

				

					weixin_37665850的博客
				

				

					03-22
					
					448
					
				

			

		

		

			
				
5：验证修改配置后的kafka服务状态，查询节点信息、topic信息，创建topic、生产、消费消息等功能是否正常。1:查询当前kafka中注册的节点信息。3:升级后新版本相关指令。

			
		

	





	

		

			

				
					
kafka 2.X版本升级到3.X

				
			

			

				

					Jerelli的博客
				

				

					04-25
					
					1113
					
				

			

		

		

			
				
kakfa版本升级

			
		

	





	

		

			

				
					
kafka0.9升级纪实

				
			

			

				

					u011784367的博客
				

				

					09-05
					
					818
					
				

			

		

		

			
				
Kafka0.9升级到1.1纪实

本文结合官网和实际项目详细介绍kafka升级过程。


项目简介和升级需求
Kafka升级介绍
升级实测






项目简介和升级需求

先贴图，如下是框架结构以及涉及的kafka版本



可以看到，整个技术栈都是用的是kafka0.9，CDH对应的kafka版本可以通过http://archive.cloudera.com/kafka/进行查询。 
目前需...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值