kafka2.7集群安装流程

最新推荐文章于 2024-04-03 12:45:08 发布
最新推荐文章于 2024-04-03 12:45:08 发布
阅读量215 收藏
点赞数 1
分类专栏： Kafka 消息队列 中间件 文章标签： kafka 中间件 消息队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luoanjade/article/details/117995126
版权
本文详述了Apache Kafka 2.7集群的安装步骤，包括下载安装包、配置Zookeeper和Kafka、创建日志文件夹、编写启动脚本、设置集群配置、访问和管理Kafka Topic，以及调整消费能力。
摘要由CSDN通过智能技术生成

1.下载安装包：

kafka_2.13-2.7.0.tgz

https://www.apache.org/dyn/closer.cgi?path=/kafka/2.7.0/kafka_2.13-2.7.0.tgz

2.上传安装包：

3.解压：

tar -zxvf kafka_2.13-2.7.0.tgz

4.配置zookeeper

[root@localhost kafka]# mkdir zookeeper
[root@localhost kafka]# cd /usr/local/kafka/config
[root@localhost config]# vi zookeeper.properties
dataDir=/usr/local/kafka/zookeeper
dataLogDir=/usr/local/kafka/log/zookeeper
clientPort=2181
maxClientCnxns=100
tickTime=3000
initLimit=10
syncLimit=5
server.1=192.168.1.128:2888:3888
server.2=192.168.1.129:2888:3888
server.3=192.168.1.130:2888:3888

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  JadeDaydayup
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
最新版 kafka_2.12-2.7.0.tgz

				
			

			

				

					12-23
				

			

		

		

			
				
最新版 kafka_2.12-2.7.0.tgz

			
		

	



                

              
                



	

		

			

				
					
kafka2.7集群搭建

				
			

			

				

					kutianya518的博客
				

				

					07-08
					
					598
					
				

			

		

		

			
				
kafka2.7集群搭建

			
		

	



                


  
              

                


	

		

			

				
					
kafka安装部署

					
热门推荐

				
			

			

				

					m0_46192647的博客
				

				

					03-11
					
					4万+
					
				

			

		

		

			
				
一、安装kafka

下载kafka两种方式

（1）、手动下载 下载地址：Apache Kafka

（2）、也可以用命令下载（直接下载到服务器哦！）：



将安装包下载到/opt/monitor/kafka文件夹下面
下载命令：
    wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
手动下载移动到/opt/monitor/kafka目录下也可以 


二、解压kafka



tar -xzvf kafk

			
		

	





	

		

			

				
					
Kafka的常用命令（包括：下载安装、后台启动）

				
			

			

				

					健身变秃，coding变强
				

				

					04-10
					
					5329
					
				

			

		

		

			
				
Kafka常用命令示例？
Kafka的下载与安装？
Kafka Server以后台启动？

			
		

	



		

			
		



	

		

			

				
					
linux系统安装kafka,Linux环境下kafka 2.7.0的安装

				
			

			

				

					weixin_36403128的博客
				

				

					05-13
					
					333
					
				

			

		

		

			
				
1 下载kafka安装包image.pngimage.png2 安装kafka上传到指定目录并解压(强迫症重命名了)[root@localhost usr]# tar -zxvf kafka_2.13-2.7.0.tgz[root@localhost usr]# mv kafka_2.13-2.7.0/ kafka创建kafka数据目录和zk日志目录,默认放在/temp目录下个人感觉不安全[roo...

			
		

	





	

		

			

				
					
安装kafka2.7.0

				
			

			

				

					hxtog的博客
				

				

					02-06
					
					1720
					
				

			

		

		

			
				
说明

记一次安装kafka记录, 内容参考: https://www.cnblogs.com/zhaoshizi/p/12154518.html

什么是kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。


------ 来源百度百科

下载kafka2.7.0

下载页面


https://kafka.apache.org/downloads


bash

			
		

	





	

		

			

				
					
kafka源码解析新手版本（修正版）

				
			

			

				

					10-22
				

			

		

		

			
				
- **数据分析：** 为了更好地理解用户行为，LinkedIn将用户的行为数据发送到Kafka集群，并通过Hadoop进行分析处理。 - **作为分布式系统的核心构件：** 如大数据仓库解决方案Pinot和分布式数据库Espresso都将Kafka...

			
		

	





	

		

			

				
					
ELK 安装文档

				
			

			

				

					12-18
				

			

		

		

			
				
##### 2.7 Logstash安装  - **解压Logstash**：将Logstash安装包解压到 `/opt/EFK` 目录下。 - **创建配置文件**：编辑Logstash的配置文件，定义输入源、过滤器以及输出目标。 - **启动Logstash**：启动Logstash服务...

			
		

	





	

		

			

				
					
大数据框架的部署

				
			

			

				

					01-13
				

			

		

		

			
				
本文档旨在详细介绍大数据处理框架中关键组件Zookeeper、Kafka、Storm、Flume以及Spark的部署流程。这些组件各自发挥着不同的作用，共同构建了一个高效的大数据处理平台。为了确保系统的稳定运行，在部署前需确保已...

			
		

	





	

		

			

				
					
大数据学习笔记

				
			

			

				

					10-31
				

			

		

		

			
				
 - **集群架构**：详细介绍了Kafka集群的架构设计，包括节点之间的通信机制、数据存储方式等。  - **14.1 PUB-SUB信息工作流**  - **PUB-SUB模式**：描述了Kafka支持的发布订阅模式的工作流程。  - **14.2 队列信息...

			
		

	





	

		

			

				
					
kafka安装包kafka_2.12-2.7.0

				
			

			

				

					04-26
				

			

		

		

			
				
kafka安装包及安装步骤（原始安装及docker安装）

			
		

	





	

		

			

				
					
大数据学习笔记.pdf

				
			

			

				

					11-03
				

			

		

		

			
				
2.7 Spark RDD交互操作 ............................................................................................... 10 第3章 Spark安装 ..................................................................

			
		

	





	

		

			

				
					
Apache Kafka 2.7.0 稳定版发布，有哪些值得关心的变化？

				
			

			

				

					过往记忆大数据
				

				

					12-27
					
					6741
					
				

			

		

		

			
				
Apache Kafka 2.7.0 于2020年12月21日正式发布，这个版本是目前 Kafka 最新稳定版本，大家可以根据需要自行决定是否需要升级到次版本，关于各个版本升级到 Apa...

			
		

	





	

		

			

				
					
kafka最新版2.7.0单机、集群

				
			

			

				

					开卷有益
				

				

					03-07
					
					800
					
				

			

		

		

			
				
Linux 安装Kafka单机、集群
（注意：需要先安装zookeeper，可以参考这里：Linux安装Zookeeper单机，集群）
1、下载
wget http://mirror.bit.edu.cn/apache/kafka/2.7.0/kafka_2.12-2.7.0.tgz

2、解压
tar -zxvf kafka_2.12-2.7.0.tgz

3、创建日志文件夹
cd kafka_2.12-2.7.0/
mkdir logs

4、编辑配置
cd config/
vi server.prop

			
		

	





	

		

			

				
					
kafka2.7.0集群搭建

				
			

			

				

					qiouou的博客
				

				

					04-17
					
					832
					
				

			

		

		

			
				
1.准备三台已搭好 zookeeper 集群的主机:01,02,03

2.下载 kafka_2.13-2.7.0.tgz : https://www.apache.org/dyn/closer.cgi?path=/kafka/2.7.0/kafka_2.13-2.7.0.tgz 上传到三台服务

3.解压进入01主机 config 目录修改配置文件 server.properties



broker.id : 在集群中唯一，要求是正数





log.dirs : kafka数据的存放地址...

			
		

	





	

		

			

				
					
CentOS7搭建Kafka2.7分布式集群

				
			

			

				

					zhengzaifeidelushang的博客
				

				

					11-22
					
					596
					
				

			

		

		

			
				
CentOS7搭建Kafka分布式集群
Kafka下载地址：
http://kafka.apache.org/downloads

Kafka分布式集群依赖于Zookeeper才能正常工作，因此搭建Kafka集群前要先配置ZooKeeper集群。
可以参考下面这篇博客安装ZooKeeper3.6.2集群：
https://blog.csdn.net/zhengzaifeidelushang/article/details/109501121
一、解压kafka_2.13-2.6.0.tgz
tar -zxv

			
		

	





	

		

			

				
					
Centos7安装单机版Kafka

					
最新发布

				
			

			

				

					moxiong3212的博客
				

				

					04-03
					
					1143
					
				

			

		

		

			
				
Centos7安装单机版Kafka

			
		

	





	

		

			

				
					
Linux配置安装kafka-2.7集群

				
			

			

				

					一点浩然气
				

				

					03-01
					
					1023
					
				

			

		

		

			
				
a



			
		

	





	

		

			

				
					
手把手教你安装Kafka 2.3.0集群

				
			

			

				

					
				

			

		

		

			
				
"该资源提供了Kafka 2.3.0集群安装的步骤，包括解压Kafka软件包，配置系统环境变量，以及修改配置文件server.properties以设置日志目录等参数。"  Kafka 2.3.0是Apache Kafka的一个版本，它是一个分布式流处理平台，...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值