Kafka数据存储流程和log日志讲解

最新推荐文章于 2024-08-10 14:21:01 发布
最新推荐文章于 2024-08-10 14:21:01 发布
阅读量451 收藏
点赞数
分类专栏： kafka从小白变小黑 文章标签： kafka 分布式 java zookeeper spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16397653/article/details/125265841
版权
本文介绍了Kafka的存储流程，每个partition被划分为多个segment，每个segment包含log和index文件。index文件采用稀疏存储，每隔一定字节建立一次索引，以节省资源并保留在内存中。然而，未建立索引的数据查询需进行小范围顺序扫描。在server.properties配置文件中，log.segment.bytes参数设定单个log文件的最大大小。
摘要由CSDN通过智能技术生成

    感谢您抽出时间来阅读本文章，期待您的点赞和评论互动！

  • Kafka 采取了分片和索引机制，将每个partition分为多个segment，每个segment对应2个文件 log 和 index
  • index文件中并没有为每一条message建立索引，采用了稀疏存储的方式
  • 每隔一定字节的数据建立一条索引，避免了索引文件占用过多的空间和资源，从而可以将索引文件保留到内存中
  • 缺点是没有建立索引的数据在查询的过程中需要小范围内的顺序扫描操作。
 

 
 

    
 
  • 配置文件 server.properties
    • 
 
  • # The maximum size of a log segment file. When this si
    • 


                

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  Java天下第1
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
使用kafka进行自定义注解日志存储，日志存储使用的是influxDB数据库

				
			

			

				

					11-22
				

			

		

		

			
				
本篇文章将详细讲解如何利用Kafka进行自定义注解的日志存储，并结合InfluxDB数据库实现高效且灵活的日志管理系统。  首先，让我们深入了解一下Kafka。Kafka是一个高吞吐量的分布式发布订阅消息系统，由LinkedIn开发...

			
		

	



                

              
                



	

		

			

				
					
kafka 日志相关配置

				
			

			

				

					fenglepeng的博客
				

				

					03-08
					
					9101
					
				

			

		

		

			
				
log4j.properties 文件
log4j.properties 是 kafka 操作日志配置文件
log4j.properties 文件的一些说明
# 日志级别覆盖规则  优先级：ALL < DEBUG < INFO <WARN < ERROR < FATAL < OFF
# 1.子日志log4j.logger会覆盖主日志log4j.rootLogger，这里设置的是日志输出级别，Threshold设置appender的日志接收级别；
# 2.log4j.log

			
		

	



                


  
              

                


	

		

			

				
					
kafka日志分段（.log文件）及日志文件索引机制（偏移量索引、时间戳索引）

				
			

			

				

					liu_feng_zi_的专栏
				

				

					03-01
					
					5675
					
				

			

		

		

			
				
Kafka版本：2.2.1
环境：CDH

日志分段(segment)
格式
在kafka数据存储的目录下，进入topic文件目录，可以看到多个文件，如下，从文件名可以看出，.log、.index、.timeindex文件一一对应：
-rw-r--r--. 1 kafka kafka    245432 Feb 25 13:01 00000000000000000000.index
-rw-r--r--. 1 kafka kafka 909769306 Feb 25 11:31 0000000000000.

			
		

	





	

		

			

				
					
Kafka服务端日志详解

					
最新发布

				
			

			

				

					qq_44027353的博客
				

				

					08-10
					
					2140
					
				

			

		

		

			
				
进入到上方配置文件中指定的目录下查看，topic的数据都是以topic名 + partition下标的命名方式保存的我们现在进入其中一个partition目录.index日志索引文件，采用的稀疏索引提高查询效率，记录的是消息偏移量offset 和 该消息在.log文件中的位置position.log消息保存在.log文件中，是以二进制的方式保存的。可以通过.index和.timeindex两个索引文件加速查找消息。

			
		

	



		

			
		



	

		

			

				
					
Kafka的Log存储解析

					
热门推荐

				
			

			

				

					jewes的专栏
				

				

					01-21
					
					4万+
					
				

			

		

		

			
				
Kafka的Log存储解析
标签（空格分隔）： kafka


引言
Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partit

			
		

	





	

		

			

				
					
【Kafka源码分析】二、服务端Server

				
			

			

				

					wanger61的博客
				

				

					07-29
					
					631
					
				

			

		

		

			
				
本文主要对Kafka Server端的原理进行分析

			
		

	





	

		

			

				
					
kafka数据和日志目录迁移教程

				
			

			

				

					五道口
				

				

					04-17
					
					1万+
					
				

			

		

		

			
				
简介
Kafka在运行的过程中，存储在磁盘上的数据会逐渐扩大，甚至会撑爆系统盘，在线上环境我们通常会把kafka的数据存储目录和日志存储目录迁移到磁盘中，或者扩容kafka的存储磁盘。本文将一站式解决kafka的磁盘存储或扩容问题。


			
		

	





	

		

			

				
					
springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里

				
			

			

				

					01-15
				

			

		

		

			
				
在现代大数据处理中，实时日志分析和存储已经成为不可或缺的一部分。SpringBoot作为Java开发的主流框架，因其轻量级和便捷性，常被用于构建高效的服务。而Kafka作为一个高吞吐、低延迟的消息中间件，常用于日志收集...

			
		

	





	

		

			

				
					
消息队列kafka源码详细讲解分析

				
			

			

				

					12-21
				

			

		

		

			
				
2. 存储过程：消息被持久化到磁盘，Kafka使用高效的Log结构存储，保证高吞吐量和低延迟。`Log`类是核心数据结构，实现了消息的追加和检索。  3. 消费过程：消费者根据offset（消息偏移量）从分区中读取消息。`fetch`...

			
		

	





	

		

			

				
					
kafka部署日志（含安装包）.zip

				
			

			

				

					05-07
				

			

		

		

			
				
 - `log.dirs`：定义Kafka的日志存储目录，例如 `/var/log/kafka`。  - `listeners`：配置监听地址和端口，如 `PLAINTEXT://localhost:9092`。  3. **创建Kafka Topic**  Kafka的数据模型基于Topic，你需要在启动...

			
		

	





	

		

			

				
					
kafka_2.11-2.2.2.tgz

				
			

			

				

					07-07
				

			

		

		

			
				
3. `log.dirs`：Kafka数据存储目录，需要预先创建。 4. `listeners`：设置Kafka监听的网络接口和端口。  五、安装ZooKeeper  Kafka依赖ZooKeeper进行集群管理和元数据存储，确保ZooKeeper已经安装并运行。如果没有，...

			
		

	





	

		

			

				
					

                                如何把一个运行完好的Kafka搞崩
    

				
			

			

				

					weixin_33961829的博客
				

				

					09-20
					
					491
					
				

			

		

		

			
				
Kafka其实也只是一个JVM进程，要想把一个进程搞崩溃，相信大家的nice idea（骚操作）也不少。本文中只是用了一种很常见的方式来使得Kafka的进程崩溃，通过分析崩溃的原因来让我们可以更合理的使用Kafka。

你可以试着在一台普通的Linux机器上创建10000个分区的主...

			
		

	





	

		

			

				
					
MQ知识笔记-------Kafka

				
			

			

				

					张矜持的博客
				

				

					03-23
					
					2377
					
				

			

		

		

			
				
MQ知识笔记-------Kafka

			
		

	





	

		

			

				
					
Kafka设置系统运行日志输出路径

				
			

			

				

					黄刚的技术博客
				

				

					07-28
					
					2万+
					
				

			

		

		

			
				
默认Kafka运行的时候都会通过log4j打印很多日志文件，比如server.log, controller.log, state-change.log等，而都会将其输出到$KAFKA_HOME/logs目录下，这样很不利于线上运维，因为经常容易出现打爆文件系统，一般安装的盘都比较小，而数据和日志会指定打到另一个或多个更大空间的文件pan

			
		

	





	

		

			

				
					
Kafka报错——log问题导致ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.

				
			

			

				

					STAR GAME
				

				

					02-21
					
					3925
					
				

			

		

		

			
				
报错
ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentClusterIdException: The Cluster ID lWXm_NMhTdyWWb0VhVJqLw doesn’t match stored ...

			
		

	





	

		

			

				
					
Kafka日志配置

				
			

			

				

					程裕强的专栏
				

				

					04-24
					
					2万+
					
				

			

		

		

			
				
1、问题描述

在server.properties中配置了log.dirs值，表示kafka数据的存放目录，而非Kafka的日志目录。

[root@node1 kafka_2.11-1.0.1]# vi config/server.properties



log.dirs=/data/kafka

Kafka运行时日志默认输出到$KAFKA_HOME/logs目录下，容易撑爆分区，造成操作...

			
		

	





	

		

			

				
					
如何理解GC日志？

				
			

			

				

					Shockang的博客
				

				

					05-16
					
					2万+
					
				

			

		

		

			
				
写在前面
本文隶属于专栏《100个问题搞定Java虚拟机》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和文献引用请见100个问题搞定Java虚拟机

解答
如何设置 GC 日志？
-XX:+PrintGC 输出GC日志
-XX:+PrintGCDetails 输出GC的详细日志
-XX:+PrintGCTimeStamps 输出GC的时间戳（以基准时间的形式）
-XX:+PrintGCDateStamps 输出GC的时间戳（以日期的形式，如 2021-05-

			
		

	





	

		

			

				
					
【CDH】 kafkaServer-gc.log日志太多

				
			

			

				

					九师兄
				

				

					08-31
					
					3720
					
				

			

		

		

			
				
1. 背景
kafka集群资源不够了，于是查询了一下系统日志的大小，发现很多kafka Gc的日志，于是想设置gc日志变少
[deploy@kylin1 workspace]$ sudo find /  -type f -size +100M | xargs ls -lh


-rw-r--r--  1 kafka        kafka        101M Jul  6 13:48 /ru...

			
		

	





	

		

			

				
					
Flume采集数据到Kafka，然后从Kafka存储到HDFS的实践指南

				
			

			

				

					
				

			

		

		

			
				
在大数据处理中，Flume、Kafka和HDFS是三个常用的技术栈，分别负责数据采集、数据传输和数据存储。下面是使用Flume采集数据到Kafka，然后从Kafka取数据存储到HDFS的方法思路和完整步骤。  一、Flume安装和配置  1.1 ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Java天下第1

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值