kafka的安装和使用

最新推荐文章于 2024-06-21 22:00:00 发布
最新推荐文章于 2024-06-21 22:00:00 发布
阅读量4.7k 收藏 1
点赞数 1
分类专栏： 消息中间件 文章标签： 1024程序员节 zookeeper kakfa
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39598825/article/details/109255601
版权
本文介绍了Zookeeper的安装步骤，包括下载、安装JDK、配置环境变量和启动服务。接着详细讲解了Apache Kafka，强调其分布式流处理平台的特性，如Topic、Record和分区的概念，并解释了Kafka的分布式存储机制、生产者与消费者模型，以及Kafka Streams的基本概念。此外，还提到了Kafka的配置参数和自动提交Offset的功能。
摘要由CSDN通过智能技术生成

ZooKeeper简介

ZooKeeper 是一个为分布式应用所设计的分布的、开源的（java）协调服务。分布式的应用可以建立在同步配置管理、选举、分布式锁、分组和命名等服务的更高级别的实现的基础之上。 ZooKeeper 意欲设计一个易于编程的环境。

Zookeeper安装（单机版本）

1）下载zookeeper-3.4.6.tar.gz解压到/usr目录下
[root@CentOS ~]# tar -zxf zookeeper-3.4.6.tar.gz -C /usr/
2）安装JDK配置JAVA_HOME环境变量jdk-7u79-linux-x64.rpm
说明：整个课程中，所有的环境变量都是配置在用户家目录/root/ 、/home/用户名/下的.bashrc文件中（用户变量）。

JAVA_HOME=/usr/java/latest
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.
export JAVA_HOME
export PATH
export CLASSPATH

3.修改/usr/zookeeper-3.4.6/conf目录下创建zoo.cfg文件即可

[root@CentOS ~]# vi /usr/zookeeper-3.4.6/conf/zoo.cfg
tickTime=2000   --zookeeper检查连接回话失效的时钟频率 tickTime*2
dataDir=/root/zkdata  --zk数据存储路径需要手动创建
clientPort=2181       -- zk服务监听端口

4.启动zookeeper服务


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  小山丘2022
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
kafka-02 kafka集群搭建与使用

				
			

			

				

					沐宇熙IT成长之路
				

				

					08-03
					
					1万+
					
				

			

		

		

			
				
 

安装前的环境准备

由于Kafka是用Scala语言开发的，运行在JVM上，因此在安装Kafka之前需要先安装JDK。


# yum install java-1.8.0-openjdk* -y

kafka依赖zookeeper，所以需要先安装zookeeper


# wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zooke...

			
		

	



                

              
                



	

		

			

				
					
Kafka安装与使用

				
			

			

				

					Kyle Zeng的博客
				

				

					04-06
					
					2031
					
				

			

		

		

			
				
Kafka安装与使用1 下载Kafka2 启动Zookeeper3 启动Kafka4 创建Topic5 使用Kafka5.1 创建一个生产者5.2 创建两个消费者5.3 发送消息
1 下载Kafka
从官网下载Kafka压缩包，解压到本地目录即可完成安装。
https://kafka.apache.org/downloads
本文基于Kafka 3.1.0版本、Windows系统环境下安装使用。
2 启动Zookeeper
从第一步下载解压的目录中可以看到Kafka自带Zookeeper配置文件、Jar包 

			
		

	



                


  
              

                


	

		

			

				
					
kafka安装及使用

				
			

			

				

					大话家的博客
				

				

					05-30
					
					731
					
				

			

		

		

			
				
一、安装Apache Kafkahttps://kafka.apache.org/downloads.html

1.1、去官网下载kafka的安装包，然后上传到 Linux。

注意：kafka需要依赖于java环境。



1.2、加压缩，并放到 /usr/local 目录


## 解压缩
tar -zxvf kafka_2.11-0.9.0.0.tgz

## 移动到/usr/local目录
mv kafka_2.11-0.9.0.0 /usr/local

## 重命名
cd /usr/loca.

			
		

	





	

		

			

				
					
记kafka的安装

					
最新发布

				
			

			

				

					Ramsey1108的博客
				

				

					06-21
					
					713
					
				

			

		

		

			
				
由于服务器需求，需要安装消息队列kafka，之前是没有安装过的。用博客记录下这次安装提示：以下是本篇文章正文内容，下面案例可供参考total 8这里需要记下我们的log目录地址，我这里的是以上就是我个人安装kafka的过程记录，希望可以对大家有帮助！

			
		

	



		

			
		



	

		

			

				
					
kafka安装及基础使用

				
			

			

				

					qq_42988315的博客
				

				

					04-20
					
					1051
					
				

			

		

		

			
				
服务注册管理中心，ZooKeeper是一个用于维护配置信息、命名、提供分布式同步和提供组服务的集中式服务。分布式应用程序以某种形式使用所有这些类型的服务。每次实现它们时，都要做大量的工作来修复不可避免的错误和竞争条件。由于实现这类服务的困难，应用程序最初通常会对它们吝啬，这使得它们在发生变化时变得脆弱，难以管理。即使操作正确，在部署应用程序时，这些服务的不同实现也会导致管理的复杂性。ip角色masterslaveslaveZooKeeper 集群用于解决单点和单机性能及数据高可用等问题。

			
		

	





	

		

			

				
					
Kafka集群的安装和使用

				
			

			

				

					02-24
				

			

		

		

			
				
本文来自于博客园，本文主要以kafka_2.11-0.10.0.0为例，介绍了Kafka集群的安装和使用，希望对您的学习有所帮助。Kafka是一种高吞吐量的分布式发布订阅的消息队列系统，原本开发自LinkedIn，用作LinkedIn的活动流...

			
		

	





	

		

			

				
					
Kafka安装文档和安装包

				
			

			

				

					02-23
				

			

		

		

			
				
6. **ZooKeeper**：Kafka使用ZooKeeper进行配置管理、命名服务、集群协调和故障检测。ZooKeeper是一个分布式的、开放源码的协调服务，对分布式应用提供强有力的支持。  安装Kafka的步骤如下：  1. **下载与解压**：...

			
		

	





	

		

			

				
					
Kafka的安装和使用

				
			

			

				

					01-07
				

			

		

		

			
				
kafka 是和zookeeper 共用的安装kafka前需安装zookeeper zookeeper 1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务: sh bin/zkServer.sh stop 4. 重启ZK服务...

			
		

	





	

		

			

				
					
kafka简介安装和使用

				
			

			

				

					牧竹子
				

				

					05-03
					
					504
					
				

			

		

		

			
				
1.       kafka介绍



1.1.       主要功能

根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能：

　　1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因

　　2：It lets you s...

			
		

	





	

		

			

				
					
kafka安装

				
			

			

				

					祈雨v的博客
				

				

					11-08
					
					502
					
				

			

		

		

			
				
安装教程
Kafka 安装及快速入门
问题
在生产消息时，发生如下问题：
WARN Error while fetching metadata with correlation id 1 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

controller.log日志如下：
[2018-11-08 10...

			
		

	





	

		

			

				
					
kafka的安装和简单使用

				
			

			

				

					Selenium
				

				

					02-11
					
					765
					
				

			

		

		

			
				
一.安装
1.zookeeper
kafka依赖于Zookeeper，所以我们下载解压 zookeeper-3.4.14
进入conf目录，复制zoo_sample.cfg并重命名为zoo.cfg,打开文件将dataDir修改为你创建的某个目录,同时我们可以知道zookeeper的默认端口是2181

进入bin目录，启动zookeeper.
./zkServer.sh start /opt/zo...

			
		

	





	

		

			

				
					
kafka安装部署和使用

				
			

			

				

					libaowenBlog的博客
				

				

					08-24
					
					712
					
				

			

		

		

			
				
一、kafka安装部署
二、kafka基本操作
三、Kafka中的生产者和消费者

			
		

	





	

		

			

				
					
Kafka中的ACK应答机制

				
			

			

				

					qq_38052208的博客
				

				

					11-18
					
					3676
					
				

			

		

		

			
				
kafka中的应答机制：
对于一些不太重要的数据，对数据的可靠性要求不是特别高的情况下，能够容忍少量的数据丢失，因此没有必要等待ISR中所有follower全部要接收成功
所以Kafka为用户提供了三种可靠级别设置，可以根据不同需求来修改选择：
ack有三个参数配置：参数是0,1和-1
参数为0意思是：
producer不等待broker的ack，这一种操作提供了最低的延迟，broker一接受到还...

			
		

	





	

		

			

				
					
Kafka部署安装及简单使用

				
			

			

				

					jh035的博客
				

				

					11-27
					
					2210
					
				

			

		

		

			
				
Console.WriteLine($"发送事件{dr.Value}到{dr.TopicPartitionOffset}成功");Console.WriteLine($"创建商品：Order:{value}");Console.WriteLine($"创建商品：Key:{key}");listeners=PLAINTEXT://localhost:9092   -- 将localhost修改为主机ip。log.dirs=/bigdata/kafka/logs-1  -- 默认不修改也可。

			
		

	





	

		

			

				
					
kafka安装使用

				
			

			

				

					l735697258的博客
				

				

					04-26
					
					1349
					
				

			

		

		

			
				
 先来说下kafka是个什么东西，它是一个消息中间件框架，只负责发布--订阅（帮忙存东西的）接着给大家看一张大致的kafka流程图        首先打个比方，kafka好比就是中央电视台，而中央电视台下面有很多节目，生产者就是制作节目的团队，而消费者就是我们观看这个节目的人，一开始中央电视台创建一个节目，假设就叫cctv1，创建后就要去zookeeper中注册一下，相当于给它申请了一个专利，有了...

			
		

	





	

		

			

				
					
Kafka的入门安装与简单使用

					
热门推荐

				
			

			

				

					蹊源的奇思妙想的博客
				

				

					08-04
					
					1万+
					
				

			

		

		

			
				
Kafka
Kafka是一个分布式流平台，它具以下关键功能：

消息传递系统：发布和订阅记录流，类似于消息队列或企业消息传递系统。
存储系统：以容错的持久方式存储记录流。
流处理：处理发生的记录流。

Kafka通常用于两大类应用程序：

建立实时流数据管道，以可靠地在系统或应用程序之间获取数据。
构建实时流应用程序以转换或响应数据流。

Kafka的特性：

Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。
Kafka集群将记录流存储在称为topic的类别中。
每个记录由一个键，一个值和

			
		

	





	

		

			

				
					
kafka如何安装使用

				
			

			

				

					02-07
				

			

		

		

			
				
Kafka的安装和使用可以分为以下几个步骤：  1. 下载和解压缩Kafka  首先，你需要从Kafka官方网站下载Kafka的二进制文件。解压缩下载的文件到你选择的目录。  2. 配置Kafka  进入Kafka解压缩后的目录，找到`config`...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值